Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
In this course, you will receive technical training for Enterprise Data Warehouses solutions using BigQuery based on the best practices developed internally by Google’s technical sales and services organizations. The course will also provide guidance and training on key technical challenges that can arise when migrating existing Enterprise Data Warehouses and ETL pipelines to Google Cloud. You will get hands-on experience with real migration tasks, such as data migration, schema optimization, and SQL Query conversion and optimization. The course will also cover key aspects of ETL pipeline migration to Dataproc as well as using Pub/Sub, Dataflow, and Cloud Data Fusion, giving you hands-on experience using all of these tools for Data Warehouse ETL pipelines.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.
Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série "Engenharia de dados no Google Cloud". Após a conclusão, recomendamos que você comece o curso "Como criar pipelines de dados em lote no Google Cloud".
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.
Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.
Earn a skill badge by passing the final quiz, you'll demonstrate your understanding of foundational concepts in generative AI. A skill badge is a digital badge issued by Google Cloud in recognition of your knowledge of Google Cloud products and services. Share your skill badge by making your profile public and adding it to your social media profile.
Este curso é uma introdução à arquitetura de transformador e ao modelo de Bidirectional Encoder Representations from Transformers (BERT, na sigla em inglês). Você vai aprender sobre os principais componentes da arquitetura de transformador, como o mecanismo de autoatenção, e como eles são usados para construir o modelo de BERT. Também vai conhecer as diferentes tarefas onde é possível usar o BERT, como classificação de texto, respostas a perguntas e inferência de linguagem natural. O curso leva aproximadamente 45 minutos.
Este curso apresenta um resumo da arquitetura de codificador-decodificador, que é uma arquitetura de machine learning avançada e frequentemente usada para tarefas sequência para sequência (como tradução automática, resumo de textos e respostas a perguntas). Você vai conhecer os principais componentes da arquitetura de codificador-decodificador e aprender a treinar e disponibilizar esses modelos. No tutorial do laboratório relacionado, você vai codificar uma implementação simples da arquitetura de codificador-decodificador para geração de poesia desde a etapa inicial no TensorFlow.
Este curso é uma introdução ao mecanismo de atenção, uma técnica avançada que permite que as redes neurais se concentrem em partes específicas de uma sequência de entrada. Você vai entender como a atenção funciona e como ela pode ser usada para melhorar o desempenho de várias tarefas de machine learning (como tradução automática, resumo de texto e resposta a perguntas).
Neste curso, apresentamos os modelos de difusão, uma família de modelos de machine learning promissora no campo da geração de imagens. Os modelos de difusão são baseados na física, mais especificamente na termodinâmica. Nos últimos anos, eles se popularizaram no setor e nas pesquisas. Esses modelos servem de base para ferramentas e modelos avançados de geração de imagem no Google Cloud. Este curso é uma introdução à teoria dos modelos de difusão e como eles devem ser treinados e implantados na Vertex AI.
Este é um curso de microaprendizagem introdutório que busca explicar a IA responsável: o que é, qual é a importância dela e como ela é aplicada nos produtos do Google. Ele também contém os 7 princípios de IA do Google.
Este é um curso de microlearning de nível introdutório que explica o que são modelos de linguagem grandes (LLM), os casos de uso em que podem ser aplicados e como é possível fazer o ajuste de comandos para aprimorar o desempenho dos LLMs. O curso também aborda as ferramentas do Google que ajudam a desenvolver seus próprios apps de IA generativa.
Este é um curso de microaprendizagem introdutório que busca explicar a IA generativa: o que é, como é usada e por que ela é diferente de métodos tradicionais de machine learning. O curso também aborda as ferramentas do Google que ajudam você a desenvolver apps de IA generativa.
Conquiste um selo de habilidade ao concluir o curso Como desenvolver sua rede do Google Cloud, que ensina várias maneiras de implantar e monitorar aplicativos, incluindo como analisar os papéis do IAM e adicionar/remover acesso a projetos, criar redes VPC, implantar e monitorar VMs do Compute Engine; gravar consultas SQL, implantar e monitorar VMs no Compute Engine e implantar aplicativos usando Kubernetes com múltiplas abordagens de implantação.
Conclua o selo de habilidade intermediário Como criar infraestrutura com o Terraform no Google Cloud para mostrar que você sabe: usar os princípios de infraestrutura como código (IaC, na sigla em inglês) no Terraform, provisionar e gerenciar recursos do Google Cloud usando configurações do Terraform, gerenciamento de estado eficaz (local e remoto) e modularização do código do Terraform para reutilização e organização.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
Conquiste o selo de habilidade Implementar o balanceamento de carga no Compute Engine para demonstrar que você é capaz de: escrever comandos gcloud, usar o Cloud Shell, criar e implantar máquinas virtuais no Compute Engine e configurar balanceadores de carga HTTP e de rede. Um selo de habilidade é um selo digital exclusivo emitido pelo Google Cloud como forma de reconhecer sua proficiência com os produtos e serviços do Cloud, comprovando sua capacidade de aplicar o conhecimento em um ambiente prático e interativo. Complete esse curso e o laboratório com desafio da avaliação final para receber o selo de habilidade que pode ser compartilhado com seus contatos.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm a chance de conhecer e implantar elementos da solução. Isso inclui interconexão segura entre redes, balanceamento de carga, escalonamento automático, automação de infraestrutura e serviços gerenciados.
Confira neste curso uma introdução ao uso do Terraform para Google Cloud. Nele, você aprende como o Terraform pode ser usado para implementar infraestrutura como código e aplicar alguns dos principais recursos e funcionalidades para criar e gerenciar a infraestrutura do Google Cloud. Também incluímos experiências práticas de criação e gerenciamento de recursos do Google Cloud usando o Terraform.
"Noções básicas do Google Cloud: infraestrutura principal" é uma apresentação da terminologia e de conceitos importantes para trabalhar com o Google Cloud. Usando vídeos e laboratórios práticos, o curso apresenta e compara vários serviços de armazenamento e computação do Google Cloud, além de ferramentas importantes para o gerenciamento de políticas e recursos.
Este curso ensina aos participantes técnicas de monitoramento e melhoria de infraestrutura e desempenho de aplicativos no Google Cloud. Com uma combinação de apresentações, demonstrações, laboratórios práticos e estudos de caso do mundo real, os participantes ganham experiência com monitoramento de pilha completa, gerenciamento e análise de registro em tempo real, depuração de código em produção, rastreamento de gargalos de desempenho de aplicativos, caracterização de perfil de CPU e uso de memória.
Bem-vindo ao curso "Introdução ao Google Kubernetes Engine". Se você têm interesse no Kubernetes, uma camada de software que fica entre seus aplicativos e a infraestrutura de hardware, aqui é o lugar certo. O Google Kubernetes Engine transforma o Kubernetes em um serviço gerenciado no Google Cloud. O objetivo deste curso é apresentar os conceitos básicos do Google Kubernetes Engine, ou GKE, como é comumente conhecido, e aprender a conteinerizar e executar aplicativos no Google Cloud. O curso começa com uma introdução básica ao Google Cloud e é seguido pelos conceitos gerais dos contêineres e do Kubernetes, da arquitetura do Kubernetes e das operações do Kubernetes.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud, com foco no Compute Engine. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm a chance de conhecer e implantar elementos da solução, incluindo componentes de infraestrutura, como redes, sistemas e serviços de aplicativos. O curso também aborda a implantação de soluções práticas, como chaves de criptografia fornecidas pelo cliente, gerenciamento de segurança e acesso, cotas e faturamento, além do monitoramento de recursos.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud, com foco no Compute Engine. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm chance de conhecer e implantar elementos da solução, incluindo componentes de infraestrutura, como redes, máquinas virtuais e serviços de aplicativos. Você vai aprender a usar o Google Cloud no Console e no Cloud Shell. Além disso, vamos detalhar o papel de um arquiteto de nuvem, abordagens de design de infraestruturas, configuração de redes virtuais com a nuvem privada virtual (VPC), projetos, redes, sub-redes, endereços IP, rotas e regras de firewall.
Este curso ajuda você a se preparar para o exame Associate Cloud Engineer. Você vai aprender sobre os domínios do Google Cloud abordados no exame e como criar um plano de estudos para melhorar seu conhecimento sobre o assunto.