Udemyallpt

Formação Spark com Pyspark : o Curso Completo

Master data processing with this essential tool for Data Scientists & Engineers. Handle massive datasets efficiently. Learn key techniques for data analysis and engineering.

Related:Spark SQL
4.6(1,903)
9,027students
10h 58m
Certificate
Fernando Amaral
Fernando AmaralData Engineer Lead, Data Scientist, Writer and Teacher

Course Content

Formação Spark com Pyspark : o Curso Completo is an all-levels Udemy course taught by Fernando Amaral. It runs 10h 58m, is taught in Portuguese, and includes a certificate of completion. Learners rate it 4.6 out of 5 from 1,903 reviews, with 9,027 students enrolled. It is a paid course, last updated January 2025.

Descubra o curso de Spark mais completo e atualizado para dominar o processamento de Big Data!

Na era do Big Data, o Apache Spark se destaca como a ferramenta líder para processar grandes volumes de dados com alta performance. Essencial para Cientistas de Dados e Engenheiros de Dados, o Spark oferece uma arquitetura distribuída que utiliza paralelismo e memória para processamento eficiente, com persistência de dados quando necessário.

O Spark se integra facilmente com praticamente qualquer fonte de dados e permite exportar resultados para os principais formatos e bancos de dados. Dominar o Spark é uma habilidade crucial, ao lado de Machine Learning e Python, e este curso te prepara para isso! Você pode usar Spark com Python através do PySpark e construir modelos de Machine Learning diretamente com as bibliotecas do Spark.

Este curso prático de Spark é ideal para iniciantes, guiando você desde os fundamentos até as aplicações avançadas. Você vai:

  • Instalação e Configuração do Spark: Aprenda a configurar o ambiente para começar a trabalhar com Spark.
  • DataFrames do Spark: Entenda e utilize o principal objeto de dados do Spark, os DataFrames.
  • Transformações e Ações com DataFrames: Domine as técnicas para manipular e analisar seus dados.
  • SQL no Spark: Consulte dados utilizando a sintaxe SQL para consultas eficientes.
  • Views e Joins: Crie views e realize joins para combinar dados de diferentes fontes.
  • Persistência de Dados: Persista dados em disco utilizando formatos como Parquet e ORC.
  • Importação de Dados: Importe dados de diversas fontes, incluindo MongoDB, PostgreSQL, arquivos JSON e Parquet.
  • Aplicações na Linha de Comando: Crie aplicações Spark executáveis diretamente na linha de comando.
  • Machine Learning com Spark: Construa e treine modelos de Machine Learning com o Spark.
  • Pipelines de Machine Learning: Desenvolva pipelines completos para automatizar o processo de Machine Learning.
  • Spark Structured Streaming: Processe dados em tempo real com o Spark Structured Streaming.
  • Otimização do Spark: Aprenda a otimizar o desempenho do Spark com Cache, Persistência, Particionamento e Bucketing.
  • Spark e Jupyter Notebooks: Utilize o Spark de forma integrada com Jupyter Notebooks.
  • Spark com Pandas: Explore a integração do Spark com Pandas e outras bibliotecas Python.
  • Construção de Clusters Spark: Aprenda a construir e gerenciar clusters Spark.

Além do conteúdo do curso, você terá acesso a materiais complementares para download: scripts, slides e dados de exemplo. Comece agora a sua jornada no mundo do Spark e Big Data!

$ whoami — the devs behind tutorialsearch.io

Want AI in your product? Hire the team behind TutorialSearch.io

LLM features, RAG, agents and automation wired into a real product — built by the devs who shipped this site.

Encadernação Descomplicada

by Jeniffer Bulhões

5.0(16)
2h 1m
beginner

Aprenda a Programar com JAVA

by Fabíola Ventavoli

5.0(12)
1h 42m
beginner
5.0(316)
1h 59m
beginner
5.0(9)
7h 21m
beginner
5.0(5)
1h 54m
beginner