メンバー加入日: 2025
Data Lake Modernization on Google Cloud: Cloud Composer
Earned 6月 26, 2025 EDT
Google Cloud でのバッチデータ パイプラインの構築
Earned 5月 21, 2025 EDT
Google Cloud を使用したデータレイクとデータ ウェアハウスのモダナイゼーション
Earned 5月 6, 2025 EDT
Data Engineering on Google Cloud の概要
Earned 5月 1, 2025 EDT
Welcome to Cloud Composer, where we discuss how to orchestrate data lake workflows with Cloud Composer.
通常、データ パイプラインは、「抽出、読み込み（EL）」、「抽出、読み込み、変換（ELT）」、「抽出、変換、読み込み（ETL）」のいずれかの考え方に分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。また、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行います。
すべてのデータ パイプラインには、データレイクとデータ ウェアハウスという 2 つの主要コンポーネントがあります。このコースでは、各ストレージ タイプのユースケースを紹介し、Google Cloud で利用可能なデータレイクとデータ ウェアハウスのソリューションを技術的に詳しく説明します。また、データ エンジニアの役割や、効果的なデータ パイプラインが事業運営にもたらすメリットについて確認し、クラウド環境でデータ エンジニアリングを行うべき理由を説明します。 これは「Data Engineering on Google Cloud」シリーズの最初のコースです。このコースを修了したら、「Google Cloud でのバッチデータ パイプラインの構築」コースに登録してください。
このコースでは、Google Cloud におけるデータ エンジニアリング、データ エンジニアの役割と責任、それらが Google Cloud の各サービスにどのように対応しているかについて学びます。また、データ エンジニアリングの課題に対処する方法も学習します。