Engenharia de Dados [Cast]

Em que momento a IA deixou de ser uma curiosidade e passou a mudar, de verdade, o jeito de trabalhar com dados?
Neste episódio do Engenharia de Dados Cast, Lucas Tancredi recebe Rafael e os profissionais da DataShip Anthony Lucas e Vinícius para uma conversa sobre carreira, produtividade e o uso de IA no dia a dia.
Anthony conta como conseguiu construir em menos de um mês um pipeline que, no modelo tradicional, poderia levar meses e exigir uma equipe inteira. Vinícius fala sobre sua experiência com Spec-Driven Development, usando reuniões, notas e requisitos como ponto de partida para desenvolver com mais velocidade e menos retrabalho. Rafael compartilha o que aprendeu em projetos de aceleração de IA com a Microsoft, inclusive assumindo tarefas que antes dependeriam de especialistas de áreas diferentes.
A conversa também entra nas perguntas que muita gente da área já está fazendo:
O que muda na carreira de quem trabalha com dados?
Quais habilidades passam a valer mais?
Como usar IA sem terceirizar o raciocínio?
Até onde uma pessoa consegue chegar com agentes e bons processos?
O que acontece com os times quando um profissional passa a executar o trabalho de vários papéis?
Não tem papo de que a IA vai resolver tudo, nem previsão apocalíptica sobre o fim da profissão. Tem experiência real de quem já mudou o próprio workflow e está entendendo, na prática, onde a IA ajuda, onde ainda falha e por que saber trabalhar com ela está virando parte do ofício.
Se você trabalha com engenharia de dados e ainda trata IA como algo para "ver depois", este episódio pode ser a sua virada de chave.

Lucas Tancredi - Linkedin
Rafael Rodrigues - Linkedin
Antony Lucas - Linkedin
Vinicius Peres - Linkedin
 Luan Moreno - Linkedin
https://engenhariadadosacademy.com.br/
Engenharia de Dados Academy - Instagram

Prepare-se para uma conversa direta sobre a disciplina que está silenciosamente substituindo a engenharia de dados como a gente conhece, e que ainda não tem nome no mercado brasileiro.
Neste episódio, Lucas Tancredi e Luan Moreno discutem, sem rodeios, por que Engenharia Agêntica não é prompt engineering glorificado, o que mudou de verdade no workflow de quem já está construindo sistemas autônomos, e como o Data Engineer chegou ao centro dessa transformação.
O que você vai aprender neste episódio:
Por que o medo não desaparece mesmo pra quem já constrói sistemas agênticos há dois anos, e o que isso diz sobre a velocidade do que está acontecendo.
O que o Karpathy quis dizer com Software 3.0 e por que isso muda a forma como você pensa sobre o seu trabalho com dados hoje.
As 5 camadas da Engenharia Agêntica (Prompt, Context, Harness, Loop e Eval Engineering) e por que a maioria das empresas ainda investe tudo na camada menos importante.
O que é uma Dark Factory e como um sistema de 42 agentes fez em 6 meses o que um time de 7 pessoas levou 3 anos pra tentar, e ainda encontrou um bug de 137 mil dólares que ninguém havia visto.
Por que você não vai ser substituído pela IA, mas pode ser substituído por alguém que a usa melhor do que você, e o que isso significa pra quem está no mercado agora.
Este não é um episódio sobre ferramentas. É uma conversa sobre por que esse momento não vai esperar você estar pronto.
Lucas Tancredi - Linkedin
 Luan Moreno - Linkedin
https://engenhariadadosacademy.com.br/
Engenharia de Dados Academy - Instagram

Prepare-se para uma conversa direta sobre o que está mudando na Engenharia de Dados e o que nenhum relatório de mercado vai te contar. 
Neste episódio, Lucas Tancredi recebe Luan Moreno e Rafael Rodrigues para discutir, sem filtro, por que o Data Engineer pode estar se tornando obsoleto e o que os profissionais precisam fazer agora para não ficar para trás.
O que você vai aprender neste episódio:
Por que a tecnologia é cíclica  e como usar esse padrão a seu favor antes que o mercado te pegue de surpresa.
O que está mudando na Engenharia de Dados e por que adaptar o título no currículo não resolve o problema real.
Por que dominar os fundamentos da tecnologia vale mais do que correr atrás de qualquer ferramenta nova.
Como a comunicação eficaz se tornou uma vantagem competitiva real para quem trabalha com dados e IA.
O que o mercado está pedindo agora  e como alinhar sua mentalidade a essa nova demanda antes que ela se feche.
Este não é um episódio sobre ferramentas. É uma conversa sobre o que separa os profissionais que vão liderar a próxima fase da IA dos que vão ficar esperando a próxima onda passar.

Lucas Tancredi - Linkedin
 Luan Moreno - Linkedin
https://engenhariadadosacademy.com.br/
Engenharia de Dados Academy - Instagram

Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias?
Neste episódio da série Era dos Agentes, exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de três camadas, usando AWS Lambda, Lakeflow Declarative Pipelines e Databricks Asset Bundles.
A história começa com um problema real: a infraestrutura que sustentava a cobrança de clientes era frágil, não escalável e impossível de testar. Um timeout de API às duas da manhã derrubava o pipeline inteiro. Doze constantes críticas de threshold estavam espalhadas como números mágicos por cinco arquivos diferentes. Ninguém conseguia provar que as fórmulas estavam corretas.
Na segunda sessão, o projeto quase parou. Um bug não documentado no motor DLT: o decorator dp.table em Python, com nomes fully qualified, quebrava a resolução do grafo JVM em pipelines multi-schema. Foram três a quatro horas de debugging. Sete abordagens falharam.
Até que surgiu o Padrão Híbrido SQL+Python: notebooks Python criam views temporárias com dp.view para a lógica complexa, e notebooks SQL registram as tabelas finais com CREATE OR REFRESH. O DLT processa tudo como um único grafo de computação.
O clímax é a validação em escala de produção: 920.676 registros reais de OTel processados simultaneamente pelos dois pipelines, legado e novo. 822 milhões de linhas Silver geradas. O resultado: InfraRating (risco e otimização) com 100% de match exato em 42.640 comparações. Performance de 38 minutos no serverless contra 90 minutos no clássico: 2,3 vezes mais rápido, com dados idênticos.
O novo pipeline encontrou 68 hosts onde o legado encontrava apenas 14. Não é só equivalente: é melhor.
Como foi construído: uma pessoa de engenharia trabalhando com Claude Code e quarenta agentes de IA especializados: lakeflow architect, spark specialist, code reviewer, lambda builder, medallion architect. Seis sessões ao longo de três dias. 1,8 milhão de tokens de raciocínio colaborativo.
Tecnologias: Claude Code, Databricks Lakeflow, Unity Catalog, AWS Lambda, SAM, Databricks Asset Bundles, PySpark, Spark SQL, Auto Loader e Delta Live Tables.
Este episódio foi gerado com NotebookLM a partir de fontes produzidas por agentes de IA especializados. O conteúdo que você ouve é o produto direto da era agêntica em ação.
 Luan Moreno - Linkedin
https://engenhariadadosacademy.com.br/
Engenharia de Dados Academy - Instagram

Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer. 
Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V. 
Luan também enfatiza a relevância da comunidade e do networking, bem como a necessidade de soft skills, como comunicação, no ambiente de trabalho. 
Ele apresenta sua metodologia de aprendizado, o método GEAR, que combina teoria e prática, e reflete sobre a pressão e o estresse no trabalho, destacando a importância de ter suporte e mentores.

A comunidade é essencial para o crescimento profissional.
A formação acadêmica é uma das várias formas de alcançar o sucesso.
A pressão inicial na carreira pode moldar a forma como lidaremos com os desafios futuros.
A comunicação é uma habilidade crucial no mercado de trabalho.
A metodologia GEAR combina teoria e prática para um aprendizado eficaz.
A constância no estudo é fundamental para o sucesso.
Mentores podem acelerar o aprendizado e a carreira.
Projetos solicitados são oportunidades de aprendizado.
Networking é vital para oportunidades de carreira.
A velocidade das mudanças tecnológicas exige adaptação constante.

 Luan Moreno - Linkedin
https://engenhariadadosacademy.com.br/
Engenharia de Dados Academy - Instagram