Bootcamp Engenharia de Dados: Construa um Projeto Real

Engenharia de Dados Bootcamp: Construa um Data Warehouse do Zero

Este bootcamp prático é projetado para você se tornar um especialista em engenharia de dados, construindo um Data Warehouse completo para uma montadora de veículos fictícia. Você trabalhará em um projeto real com dados em tempo real, gerados a partir de um site, sistema e banco de dados PostgreSQL "vivos"!

O que você vai aprender:

• Fundamentos de Engenharia de Dados: Entenda os conceitos essenciais e a importância de um Data Warehouse para a tomada de decisões baseada em dados.
• Exploração de Banco de Dados PostgreSQL: Aprenda a navegar e compreender a estrutura do banco de dados PostgreSQL da empresa, crucial para o planejamento da migração e modelagem de dados.
• Orquestração de Fluxos de Trabalho com Airflow: Configure e utilize o Airflow, uma plataforma líder em orquestração de workflows, para automatizar e monitorar processos complexos de engenharia de dados.
• Armazenamento de Dados na Nuvem com Snowflake: Dê seus primeiros passos com o Snowflake, um poderoso serviço de armazenamento de dados na nuvem, configurando contas e explorando suas capacidades.
• ETL com Airflow e PostgreSQL para Snowflake: Crie DAGs (Directed Acyclic Graphs) no Airflow para orquestrar o carregamento eficiente e confiável de dados do PostgreSQL para o Snowflake.
• Transformação de Dados com dbt: Utilize o dbt (data build tool) para transformar dados no Snowflake, aplicando as melhores práticas de engenharia de dados para modelagem, testes e documentação.
• Visualização de Dados e Dashboards com Looker Studio: Crie dashboards interativos para visualizar seus dados e explore alternativas e práticas recomendadas em engenharia de dados.

Ferramentas Utilizadas:

• PostgreSQL
• Airflow
• Snowflake
• dbt
• Looker Studio

Recursos:

Todos os scripts utilizados no curso estão disponíveis para download!

Ideal para:

Profissionais que desejam aprofundar seus conhecimentos em engenharia de dados, aplicando conceitos teóricos em um contexto prático e realista, e se preparar para os desafios do mundo real na análise de dados.