Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML. Os selos de habilidade são digitais e exclusivos. Eles são emitidos pelo Google Cloud como forma de reconhecer sua proficiência com os produtos e serviços do Cloud e comprovam sua habilidade de aplicar seu conhecimento em um ambiente prático e interativo. Conclua o curso com selo de habilidade e o laboratório com desafio da avaliação final para receber um selo digital que pode ser compartilhado com sua rede.
Conquiste o selo de habilidade Implementar o balanceamento de carga no Compute Engine para demonstrar que você é capaz de: escrever comandos gcloud, usar o Cloud Shell, criar e implantar máquinas virtuais no Compute Engine e configurar balanceadores de carga HTTP e de rede. Um selo de habilidade é um selo digital exclusivo emitido pelo Google Cloud como forma de reconhecer sua proficiência com os produtos e serviços do Cloud, comprovando sua capacidade de aplicar o conhecimento em um ambiente prático e interativo. Complete esse curso e o laboratório com desafio da avaliação final para receber o selo de habilidade que pode ser compartilhado com seus contatos.
Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série "Engenharia de dados no Google Cloud". Após a conclusão, recomendamos que você comece o curso "Como criar pipelines de dados em lote no Google Cloud".
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.