In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
L'elaborazione dei flussi di dati sta diventando sempre più diffusa poiché la modalità flusso consente alle aziende di ottenere parametri in tempo reale sulle operazioni aziendali. Questo corso tratta la creazione di pipeline di dati in modalità flusso su Google Cloud. Pub/Sub viene presentato come strumento per la gestione dei flussi di dati in entrata. Il corso spiega anche come applicare aggregazioni e trasformazioni ai flussi di dati utilizzando Dataflow e come archiviare i record elaborati in BigQuery o Bigtable per l'analisi. Gli studenti acquisiranno esperienza pratica nella creazione di componenti della pipeline di dati in modalità flusso su Google Cloud utilizzando QwikLabs.
In this course, you will receive technical training for Enterprise Data Warehouses solutions using BigQuery based on the best practices developed internally by Google’s technical sales and services organizations. The course will also provide guidance and training on key technical challenges that can arise when migrating existing Enterprise Data Warehouses and ETL pipelines to Google Cloud. You will get hands-on experience with real migration tasks, such as data migration, schema optimization, and SQL Query conversion and optimization. The course will also cover key aspects of ETL pipeline migration to Dataproc as well as using Pub/Sub, Dataflow, and Cloud Data Fusion, giving you hands-on experience using all of these tools for Data Warehouse ETL pipelines.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
L'integrazione del machine learning nelle pipeline di dati aumenta la capacità di estrarre insight dai dati. Questo corso illustra i modi in cui il machine learning può essere incluso nelle pipeline di dati su Google Cloud. Per una personalizzazione minima o nulla, il corso tratta di AutoML. Per funzionalità di machine learning più personalizzate, il corso introduce Notebooks e BigQuery Machine Learning (BigQuery ML). Inoltre, il corso spiega come mettere in produzione soluzioni di machine learning utilizzando Vertex AI.
Le pipeline di dati in genere rientrano in uno dei paradigmi EL (Extract, Load), ELT (Extract, Load, Transform) o ETL (Extract, Transform, Load). Questo corso descrive quale paradigma dovrebbe essere utilizzato e quando per i dati in batch. Inoltre, questo corso tratta diverse tecnologie su Google Cloud per la trasformazione dei dati, tra cui BigQuery, l'esecuzione di Spark su Dataproc, i grafici della pipeline in Cloud Data Fusion e trattamento dati serverless con Dataflow. Gli studenti fanno esperienza pratica nella creazione di componenti della pipeline di dati su Google Cloud utilizzando Qwiklabs.
I due componenti chiave di qualsiasi pipeline di dati sono costituiti dai data lake e dai data warehouse. In questo corso evidenzieremo i casi d'uso per ogni tipo di spazio di archiviazione e approfondiremo i dettagli tecnici delle soluzioni di data lake e data warehouse disponibili su Google Cloud. Inoltre, descriveremo il ruolo di un data engineer, illustreremo i vantaggi di una pipeline di dati di successo per le operazioni aziendali ed esamineremo i motivi per cui il data engineering dovrebbe essere eseguito in un ambiente cloud. Questo è il primo corso della serie Data engineering su Google Cloud. Dopo il completamento di questo corso, iscriviti al corso Creazione di pipeline di dati in batch su Google Cloud.
Questo corso presenta i prodotti e i servizi per big data e di machine learning di Google Cloud che supportano il ciclo di vita dai dati all'IA. Esplora i processi, le sfide e i vantaggi della creazione di una pipeline di big data e di modelli di machine learning con Vertex AI su Google Cloud.
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.
Earn a skill badge by passing the final quiz, you'll demonstrate your understanding of foundational concepts in generative AI. A skill badge is a digital badge issued by Google Cloud in recognition of your knowledge of Google Cloud products and services. Share your skill badge by making your profile public and adding it to your social media profile.
Questo corso ti introduce all'architettura Transformer e al modello BERT (Bidirectional Encoder Representations from Transformers). Scopri i componenti principali dell'architettura Transformer, come il meccanismo di auto-attenzione, e come viene utilizzata per creare il modello BERT. Imparerai anche le diverse attività per le quali può essere utilizzato il modello BERT, come la classificazione del testo, la risposta alle domande e l'inferenza del linguaggio naturale. Si stima che il completamento di questo corso richieda circa 45 minuti.
Questo corso ti offre un riepilogo dell'architettura encoder-decoder, che è un'architettura di machine learning potente e diffusa per attività da sequenza a sequenza come traduzione automatica, riassunto del testo e risposta alle domande. Apprenderai i componenti principali dell'architettura encoder-decoder e come addestrare e fornire questi modelli. Nella procedura dettagliata del lab corrispondente, implementerai in TensorFlow dall'inizio un semplice codice dell'architettura encoder-decoder per la generazione di poesie da zero.
Questo corso ti introdurrà al meccanismo di attenzione, una potente tecnica che consente alle reti neurali di concentrarsi su parti specifiche di una sequenza di input. Imparerai come funziona l'attenzione e come può essere utilizzata per migliorare le prestazioni di molte attività di machine learning, come la traduzione automatica, il compendio di testi e la risposta alle domande.
Questo corso introduce i modelli di diffusione, una famiglia di modelli di machine learning che recentemente si sono dimostrati promettenti nello spazio di generazione delle immagini. I modelli di diffusione traggono ispirazione dalla fisica, in particolare dalla termodinamica. Negli ultimi anni, i modelli di diffusione sono diventati popolari sia nella ricerca che nella produzione. I modelli di diffusione sono alla base di molti modelli e strumenti di generazione di immagini all'avanguardia su Google Cloud. Questo corso ti introduce alla teoria alla base dei modelli di diffusione e a come addestrarli ed eseguirne il deployment su Vertex AI.
Questo è un corso di microlearning di livello introduttivo volto a spiegare cos'è l'IA responsabile, perché è importante e in che modo Google implementa l'IA responsabile nei propri prodotti. Introduce anche i 7 principi dell'IA di Google.
Questo è un corso di microlearning di livello introduttivo che esplora cosa sono i modelli linguistici di grandi dimensioni (LLM), i casi d'uso in cui possono essere utilizzati e come è possibile utilizzare l'ottimizzazione dei prompt per migliorare le prestazioni dei modelli LLM. Descrive inoltre gli strumenti Google per aiutarti a sviluppare le tue app Gen AI.
Questo è un corso di microlearning di livello introduttivo volto a spiegare cos'è l'AI generativa, come viene utilizzata e in che modo differisce dai tradizionali metodi di machine learning. Descrive inoltre gli strumenti Google che possono aiutarti a sviluppare le tue app Gen AI.
Guadagna un badge delle competenze completando il corso Sviluppa la tua rete Google Cloud, in cui apprenderai diversi modi per eseguire il deployment e il monitoraggio delle applicazioni, tra cui: esplorare i ruoli IAM e aggiungere/rimuovere l'accesso ai progetti, creare reti VPC, eseguire il deployment e il monitoraggio delle VM di Compute Engine, scrivere query SQL, eseguire il deployment e il monitoraggio delle VM in Compute Engine ed eseguire il deployment delle applicazioni utilizzando Kubernetes con più approcci al deployment.
Completa il corso intermedio con badge delle competenze Crea l'infrastruttura con Terraform su Google Cloud per dimostrare le tue competenze nei seguenti ambiti: principi di Infrastructure as Code (IaC) utilizzando Terraform, provisioning e gestione di risorse Google Cloud con configurazioni Terraform, gestione efficace dello stato (locale e remoto) e modularizzazione del codice Terraform per la riusabilità e l'organizzazione.
Ottieni un badge delle competenze completando il corso Configura un ambiente di sviluppo di app su Google Cloud, in cui imparerai a creare e connettere un'infrastruttura cloud incentrata sull'archiviazione utilizzando le funzionalità di base delle seguenti tecnologie: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
Ottieni il badge delle competenze introduttivo Implementa il bilanciamento del carico su Compute Engine per dimostrare le tue competenze nei seguenti ambiti: scrivere comandi gcloud e utilizzare Cloud Shell, creare ed eseguire il deployment di macchine virtuali in Compute Engine e configurare bilanciatori del carico di rete e HTTP. Un badge delle competenze è un badge digitale esclusivo, assegnato da Google Cloud come riconoscimento della tua competenza nell'uso dei prodotti e servizi Google Cloud dopo aver messo alla prova la tua cacpacità di applicare le tue conoscenze in un ambiente interattivo pratico. Completa questo corso e il Challenge Lab conclusivo per ricevere un badge delle competenze da condividere con la tua rete.
Questo corso accelerato on demand illustra ai partecipanti l'infrastruttura completa e flessibile e i servizi di piattaforma forniti da Google Cloud. Attraverso una combinazione di videolezioni, demo e lab pratici, i partecipanti potranno esplorare gli elementi delle soluzioni, tra cui interconnessione sicura delle reti, bilanciamento del carico, scalabilità automatica, automazione dell'infrastruttura e servizi gestiti.
This course provides an introduction to using Terraform for Google Cloud. It enables learners to describe how Terraform can be used to implement infrastructure as code and to apply some of its key features and functionalities to create and manage Google Cloud infrastructure. Learners will get hands-on practice building and managing Google Cloud resources using Terraform.
Google Cloud Fundamentals: Core Infrastructure introduce concetti e terminologia importanti per lavorare con Google Cloud. Attraverso video e lab pratici, questo corso presenta e confronta molti dei servizi di computing e archiviazione di Google Cloud, insieme a importanti strumenti di gestione delle risorse e dei criteri.
This course teaches participants techniques for monitoring and improving infrastructure and application performance in Google Cloud. Using a combination of presentations, demos, hands-on labs, and real-world case studies, attendees gain experience with full-stack monitoring, real-time log management and analysis, debugging code in production, tracing application performance bottlenecks, and profiling CPU and memory usage.
Ti diamo il benvenuto nel corso Introduzione a Google Kubernetes Engine. Se ti interessa Kubernetes, un livello software che si trova tra le tue applicazioni e la tua infrastruttura hardware, allora sei nel posto giusto. Google Kubernetes Engine ti offre Kubernetes come servizio gestito su Google Cloud. L'obiettivo di questo corso è illustrare le nozioni di base di Google Kubernetes Engine, o GKE, come viene comunemente chiamato, e come containerizzare le applicazioni e farle funzionare su Google Cloud. Il corso inizia con un'introduzione di base a Google Cloud, seguita da una panoramica dei container e di Kubernetes, dell'architettura di Kubernetes e delle operazioni di Kubernetes.
Questo corso accelerato on demand illustra ai partecipanti l'infrastruttura e i servizi di piattaforma flessibili e completi di Google Cloud con particolare attenzione a Compute Engine. Attraverso una combinazione di videolezioni, demo e lab pratici, i partecipanti potranno esplorare gli elementi delle soluzioni, tra cui i componenti dell'infrastruttura come reti, sistemi e servizi per applicazioni, ed eseguirne il deployment. Questo corso tratta inoltre del deployment di soluzioni pratiche quali, ad esempio, chiavi di crittografia fornite dal cliente, gestione di sicurezza e accessi, quote e fatturazione, monitoraggio delle risorse.
Questo corso accelerato on demand illustra ai partecipanti l'infrastruttura e i servizi di piattaforma flessibili e completi di Google Cloud con particolare attenzione a Compute Engine. Attraverso una combinazione di videolezioni, demo e lab pratici, i partecipanti potranno esplorare gli elementi delle soluzioni, tra cui i componenti dell'infrastruttura come reti, macchine virtuali e servizi per applicazioni, ed eseguirne il deployment. Imparerai a utilizzare Google Cloud mediante la console e Cloud Shell. Scoprirai inoltre il ruolo del Cloud Architect, gli approcci alla progettazione dell'infrastruttura e la configurazione del networking virtuale con VPC (Virtual Private Cloud), progetti, reti, subnet, indirizzi IP, route e regole firewall.
This course helps you structure your preparation for the Associate Cloud Engineer exam. You will learn about the Google Cloud domains covered by the exam and how to create a study plan to improve your domain knowledge.