Engenharia de Dados [Cast]

Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias?
Neste episódio da série Era dos Agentes, exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de três camadas, usando AWS Lambda, Lakeflow Declarative Pipelines e Databricks Asset Bundles.
A história começa com um problema real: a infraestrutura que sustentava a cobrança de clientes era frágil, não escalável e impossível de testar. Um timeout de API às duas da manhã derrubava o pipeline inteiro. Doze constantes críticas de threshold estavam espalhadas como números mágicos por cinco arquivos diferentes. Ninguém conseguia provar que as fórmulas estavam corretas.
Na segunda sessão, o projeto quase parou. Um bug não documentado no motor DLT: o decorator dp.table em Python, com nomes fully qualified, quebrava a resolução do grafo JVM em pipelines multi-schema. Foram três a quatro horas de debugging. Sete abordagens falharam.
Até que surgiu o Padrão Híbrido SQL+Python: notebooks Python criam views temporárias com dp.view para a lógica complexa, e notebooks SQL registram as tabelas finais com CREATE OR REFRESH. O DLT processa tudo como um único grafo de computação.
O clímax é a validação em escala de produção: 920.676 registros reais de OTel processados simultaneamente pelos dois pipelines, legado e novo. 822 milhões de linhas Silver geradas. O resultado: InfraRating (risco e otimização) com 100% de match exato em 42.640 comparações. Performance de 38 minutos no serverless contra 90 minutos no clássico: 2,3 vezes mais rápido, com dados idênticos.
O novo pipeline encontrou 68 hosts onde o legado encontrava apenas 14. Não é só equivalente: é melhor.
Como foi construído: uma pessoa de engenharia trabalhando com Claude Code e quarenta agentes de IA especializados: lakeflow architect, spark specialist, code reviewer, lambda builder, medallion architect. Seis sessões ao longo de três dias. 1,8 milhão de tokens de raciocínio colaborativo.
Tecnologias: Claude Code, Databricks Lakeflow, Unity Catalog, AWS Lambda, SAM, Databricks Asset Bundles, PySpark, Spark SQL, Auto Loader e Delta Live Tables.
Este episódio foi gerado com NotebookLM a partir de fontes produzidas por agentes de IA especializados. O conteúdo que você ouve é o produto direto da era agêntica em ação.
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer. 
Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V. 
Luan também enfatiza a relevância da comunidade e do networking, bem como a necessidade de soft skills, como comunicação, no ambiente de trabalho. 
Ele apresenta sua metodologia de aprendizado, o método GEAR, que combina teoria e prática, e reflete sobre a pressão e o estresse no trabalho, destacando a importância de ter suporte e mentores.

A comunidade é essencial para o crescimento profissional.
A formação acadêmica é uma das várias formas de alcançar o sucesso.
A pressão inicial na carreira pode moldar a forma como lidaremos com os desafios futuros.
A comunicação é uma habilidade crucial no mercado de trabalho.
A metodologia GEAR combina teoria e prática para um aprendizado eficaz.
A constância no estudo é fundamental para o sucesso.
Mentores podem acelerar o aprendizado e a carreira.
Projetos solicitados são oportunidades de aprendizado.
Networking é vital para oportunidades de carreira.
A velocidade das mudanças tecnológicas exige adaptação constante.

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Neste episódio do Engenharia de Dados Cast, Vitor Ramos e Victor Grudtner discutem com o convidado Matheus Nogueira sobre a experiência prática com Kubernetes, abordando desde a introdução à ferramenta até desafios enfrentados em produção.
 O convidado compartilha dicas sobre como começar a estudar Kubernetes, a importância da observabilidade e a cultura de trabalho em equipes que utilizam essa tecnologia. 
Além disso, são discutidos os desafios da arquitetura distribuída e a necessidade de um planejamento cuidadoso para evitar problemas financeiros e operacionais. 
Matheus Nogueira compartilha suas experiências e dicas sobre o uso do Kubernetes, abordando desde a importância de evitar o namespace padrão até a comunicação eficaz entre equipes técnicas e de negócios.
 Ele discute o futuro do Kubernetes, destacando sua relevância e as tendências emergentes, além de oferecer recomendações práticas para otimização de containers e automação de testes com inteligência artificial.
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Prepare-se para uma imersão nos bastidores do mais recente encontro de engenharia de dados em Brasília e descubra as tendências que estão moldando o futuro da área. Neste episódio, Vitor Ramos conversa com Wesley Outeiro e outros participantes para compartilhar os principais insights e aprendizados do evento presencial, organizado pela Engenharia de Dados Academy e como palestrante Luan Moreno.
Uma conversa sincera sobre a importância das interações presenciais, a evolução da comunidade de dados e o impacto da Inteligência Artificial no dia a dia dos profissionais.
O que você vai aprender neste episódio:
A importância do networking e da comunidade para o crescimento pessoal e profissional na área de dados.
Como a interação presencial em eventos potencializa o aprendizado e a colaboração.
As principais tendências em dados e IA que estão criando novas oportunidades e desafios para o mercado.
Por que o domínio dos conceitos fundamentais é mais crucial do que nunca para o sucesso na engenharia de dados.
A relevância de FinOps para a gestão eficiente de custos de nuvem em projetos de dados.
Reflexões sobre como a dinâmica de eventos e a troca de conhecimento estão evoluindo.
O poder de se conectar com líderes da indústria para se inspirar e motivar sua carreira.
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

O Impacto da IA Generativa no Presente e Futuro dos Dados
Prepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax, Líder de IA Generativa na AWS, e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado.
O que você vai aprender neste episódio:
Como a IA Generativa está mudando a forma como construímos pipelines, produtos e soluções de dados.
Os principais desafios que empresas enfrentam ao implementar GenAI — e por que tecnologia não é mais o problema, mas sim pessoas e dados.
O papel da Engenharia de Dados no mundo da IA e como ela se conecta com conceitos como LLMOps, Fine-Tuning, Prompt Engineering e Data-Centric AI.
Por que o domínio dos fundamentos nunca foi tão importante para quem trabalha (ou quer trabalhar) com dados e IA.
Reflexões sobre o futuro das carreiras em dados e IA — será que os engenheiros de dados, cientistas de dados e desenvolvedores serão substituídos ou terão um papel ainda mais relevante?
As diferenças entre usar IA para brincar no ChatGPT e levar IA para resolver problemas de negócios no mundo real, em escala e em produção.
Este é um papo sobre IA. 
É uma imersão completa sobre os desafios, as oportunidades e a visão de futuro para quem trabalha com dados, engenharia, machine learning e inteligência artificial.

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/