Inscreva-se Fazer login

Soren Archibald

Participante desde 2022

Liga Bronze

2600 pontos
Preparação para sua jornada da certificação Professional Data Engineer Earned Oct 5, 2022 EDT
Dados de engenharia para modelagem preditiva com o BigQuery ML Earned Sep 30, 2022 EDT
Processamento de dados sem servidor com o Dataflow: desenvolvimento de pipelines Earned Sep 29, 2022 EDT
Processamento de dados sem servidor com o Dataflow: operações Earned Sep 28, 2022 EDT
Implementar o balanceamento de carga no Compute Engine Earned Sep 28, 2022 EDT
Preparar dados para APIs de ML no Google Cloud Earned Sep 25, 2022 EDT
Como criar sistemas de análise de streaming resilientes no Google Cloud Earned Sep 23, 2022 EDT
Processamento de dados sem servidor com o Dataflow: fundamentos Earned Sep 15, 2022 EDT
Smart Analytics, Machine Learning, and AI on Google Cloud - Português Brasileiro Earned Sep 15, 2022 EDT
Como criar pipelines de dados em lote no Google Cloud Earned Sep 13, 2022 EDT
Como modernizar data lakes e data warehouses com o Google Cloud Earned Sep 12, 2022 EDT
How Google Does Machine Learning - Português Brasileiro Earned Sep 2, 2022 EDT
Google Cloud Big Data and Machine Learning Fundamentals - Português Brasileiro Earned Aug 31, 2022 EDT

Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.

Saiba mais

Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.

Saiba mais

Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.

Saiba mais

Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.

Saiba mais

Conquiste o selo de habilidade Implementar o balanceamento de carga no Compute Engine para demonstrar que você é capaz de: escrever comandos gcloud, usar o Cloud Shell, criar e implantar máquinas virtuais no Compute Engine e configurar balanceadores de carga HTTP e de rede. Um selo de habilidade é um selo digital exclusivo emitido pelo Google Cloud como forma de reconhecer sua proficiência com os produtos e serviços do Cloud, comprovando sua capacidade de aplicar o conhecimento em um ambiente prático e interativo. Complete esse curso e o laboratório com desafio da avaliação final para receber o selo de habilidade que pode ser compartilhado com seus contatos.

Saiba mais

Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Dataproc e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.

Saiba mais

O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.

Saiba mais

Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.

Saiba mais

A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.

Saiba mais

Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.

Saiba mais

Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série "Engenharia de dados no Google Cloud". Após a conclusão, recomendamos que você comece o curso "Como criar pipelines de dados em lote no Google Cloud".

Saiba mais

Quais são as práticas recomendadas para implementar machine learning no Google Cloud? O que é Vertex AI e como é possível usar a plataforma para criar, treinar e implantar modelos de machine learning do AutoML com rapidez e sem escrever nenhuma linha de código? O que é machine learning e que tipos de problema ele pode resolver? O Google pensa em machine learning de uma forma um pouco diferente. Para nós, o processo de ML é sobre fornecer uma plataforma unificada para conjuntos de dados gerenciados, como uma Feature Store, uma forma de criar, treinar e implantar modelos de machine learning sem escrever nenhuma linha de código. Além disso, o ML também é sobre a habilidade de rotular dados, criar notebooks do Workbench usando frameworks (como TensorFlow, SciKit Learn, Pytorch e R) e muito mais. A plataforma Vertex AI também inclui a possibilidade de treinar modelos personalizados, criar pipelines de componente e realizar previsões em lote e on-line. Também falamos sobre as cinco fas…

Saiba mais

Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.

Saiba mais