In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
L'elaborazione dei flussi di dati sta diventando sempre più diffusa poiché la modalità flusso consente alle aziende di ottenere parametri in tempo reale sulle operazioni aziendali. Questo corso tratta la creazione di pipeline di dati in modalità flusso su Google Cloud. Pub/Sub viene presentato come strumento per la gestione dei flussi di dati in entrata. Il corso spiega anche come applicare aggregazioni e trasformazioni ai flussi di dati utilizzando Dataflow e come archiviare i record elaborati in BigQuery o Bigtable per l'analisi. Gli studenti acquisiranno esperienza pratica nella creazione di componenti della pipeline di dati in modalità flusso su Google Cloud utilizzando QwikLabs.
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.
Le pipeline di dati in genere rientrano in uno dei paradigmi EL (Extract, Load), ELT (Extract, Load, Transform) o ETL (Extract, Transform, Load). Questo corso descrive quale paradigma dovrebbe essere utilizzato e quando per i dati in batch. Inoltre, questo corso tratta diverse tecnologie su Google Cloud per la trasformazione dei dati, tra cui BigQuery, l'esecuzione di Spark su Dataproc, i grafici della pipeline in Cloud Data Fusion e trattamento dati serverless con Dataflow. Gli studenti fanno esperienza pratica nella creazione di componenti della pipeline di dati su Google Cloud utilizzando Qwiklabs.
I due componenti chiave di qualsiasi pipeline di dati sono costituiti dai data lake e dai data warehouse. In questo corso evidenzieremo i casi d'uso per ogni tipo di spazio di archiviazione e approfondiremo i dettagli tecnici delle soluzioni di data lake e data warehouse disponibili su Google Cloud. Inoltre, descriveremo il ruolo di un data engineer, illustreremo i vantaggi di una pipeline di dati di successo per le operazioni aziendali ed esamineremo i motivi per cui il data engineering dovrebbe essere eseguito in un ambiente cloud. Questo è il primo corso della serie Data engineering su Google Cloud. Dopo il completamento di questo corso, iscriviti al corso Creazione di pipeline di dati in batch su Google Cloud.
This content is deprecated. Please see the latest version of the course, here.
Dal momento che l'uso dell'intelligenza artificiale e del machine learning nelle aziende continua a crescere, cresce anche l'importanza di realizzarli in modo responsabile. Molti sono scoraggiati dal fatto che parlare di IA responsabile può essere più facile che metterla in pratica. Se vuoi imparare come operativizzare l'IA responsabile nella tua organizzazione, questo corso fa per te. In questo corso scoprirai come Google Cloud ci riesce attualmente, oltre alle best practice e alle lezioni apprese, per fungere da framework per costruire il tuo approccio all'IA responsabile.
Questo corso introduce i modelli di diffusione, una famiglia di modelli di machine learning che recentemente si sono dimostrati promettenti nello spazio di generazione delle immagini. I modelli di diffusione traggono ispirazione dalla fisica, in particolare dalla termodinamica. Negli ultimi anni, i modelli di diffusione sono diventati popolari sia nella ricerca che nella produzione. I modelli di diffusione sono alla base di molti modelli e strumenti di generazione di immagini all'avanguardia su Google Cloud. Questo corso ti introduce alla teoria alla base dei modelli di diffusione e a come addestrarli ed eseguirne il deployment su Vertex AI.
Earn a skill badge by passing the final quiz, you'll demonstrate your understanding of foundational concepts in generative AI. A skill badge is a digital badge issued by Google Cloud in recognition of your knowledge of Google Cloud products and services. Share your skill badge by making your profile public and adding it to your social media profile.
Questo è un corso di microlearning di livello introduttivo volto a spiegare cos'è l'IA responsabile, perché è importante e in che modo Google implementa l'IA responsabile nei propri prodotti. Introduce anche i 7 principi dell'IA di Google.
Questo è un corso di microlearning di livello introduttivo che esplora cosa sono i modelli linguistici di grandi dimensioni (LLM), i casi d'uso in cui possono essere utilizzati e come è possibile utilizzare l'ottimizzazione dei prompt per migliorare le prestazioni dei modelli LLM. Descrive inoltre gli strumenti Google per aiutarti a sviluppare le tue app Gen AI.
Questo è un corso di microlearning di livello introduttivo volto a spiegare cos'è l'AI generativa, come viene utilizzata e in che modo differisce dai tradizionali metodi di machine learning. Descrive inoltre gli strumenti Google che possono aiutarti a sviluppare le tue app Gen AI.