O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.