参加 ログイン

Sathish kumar Chennamadevi

メンバー加入日: 2022

ブロンズリーグ

1725 ポイント
Dataflow を使用したサーバーレスのデータ処理: パイプラインの開発 Earned 2月 2, 2023 EST
Dataflow を使用したサーバーレスのデータ処理: 運用 Earned 1月 31, 2023 EST
Smart Analytics, Machine Learning, and AI on Google Cloud - 日本語版 Earned 1月 10, 2023 EST
Google Cloud における復元力のあるストリーミング分析システムの構築 Earned 1月 3, 2023 EST
Dataflow を使用したサーバーレスのデータ処理: 基礎 Earned 12月 27, 2022 EST
Google Cloud でのバッチデータ パイプラインの構築 Earned 12月 26, 2022 EST
Google Cloud を使用したデータレイクとデータ ウェアハウスのモダナイゼーション Earned 12月 16, 2022 EST
Compute Engine でのロード バランシングの実装 Earned 11月 17, 2022 EST
Google Cloud Big Data and Machine Learning Fundamentals - 日本語版 Earned 11月 14, 2022 EST
Google Cloud Essentials Earned 11月 10, 2022 EST

Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。

詳細

Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベスト プラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データ プラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。

詳細

ML をデータ パイプラインに組み込むと、データから分析情報を抽出する能力を向上できます。このコースでは、Google Cloud でデータ パイプラインに ML を含める複数の方法について説明します。カスタマイズがほとんど、またはまったく必要ない場合のために、このコースでは AutoML について説明します。よりカスタマイズされた ML 機能については、Notebooks と BigQuery の機械学習（BigQuery ML）を紹介します。また、Vertex AI を使用して ML ソリューションを本番環境に導入する方法も説明します。

詳細

ストリーミングによって企業が事業運営に関するリアルタイムの指標を取得できるようになり、ストリーミング データの処理を行う機会が増えてきました。このコースでは、Google Cloud でストリーミング データ パイプラインを構築する方法について学習します。受信ストリーミング データの処理のために Pub/Sub について説明します。また、このコースでは、Dataflow を使用してストリーミング データの集計や変換を行う方法、処理済みのレコードを分析用に BigQuery や Bigtable に保存する方法についても説明します。さらに、Qwiklabs を使用して Google Cloud でストリーミング データ パイプラインのコンポーネントを構築する実践演習を行います。

詳細

このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。

詳細

通常、データ パイプラインは、「抽出、読み込み（EL）」、「抽出、読み込み、変換（ELT）」、「抽出、変換、読み込み（ETL）」のいずれかの考え方に分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。また、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行います。

詳細

すべてのデータ パイプラインには、データレイクとデータ ウェアハウスという 2 つの主要コンポーネントがあります。このコースでは、各ストレージ タイプのユースケースを紹介し、Google Cloud で利用可能なデータレイクとデータ ウェアハウスのソリューションを技術的に詳しく説明します。また、データ エンジニアの役割や、効果的なデータ パイプラインが事業運営にもたらすメリットについて確認し、クラウド環境でデータ エンジニアリングを行うべき理由を説明します。 これは「Data Engineering on Google Cloud」シリーズの最初のコースです。このコースを修了したら、「Google Cloud でのバッチデータ パイプラインの構築」コースに登録してください。

詳細

Compute Engine でのロード バランシングの実装 スキルバッジを獲得できる入門コースを修了すると、次のスキルを実証できます: gcloud コマンドの記述と Cloud Shell の使用、Compute Engine における仮想マシンの作成とデプロイ、 ネットワーク ロードバランサと HTTP ロードバランサの構成。 スキルバッジは、Google Cloud の プロダクトとサービスに関する習熟度を示す Google Cloud 発行の限定デジタルバッジです。 これは、インタラクティブなハンズオン環境での知識の応用力を 証明するものです。この入門コースと最終評価チャレンジラボを完了し、 スキルバッジを獲得しましょう。このスキルバッジはネットワークで共有できます。

詳細

このコースでは、データから AI へのライフサイクルをサポートする Google Cloud のビッグデータと ML のプロダクトやサービスを紹介します。また、Google Cloud で Vertex AI を使用してビッグデータ パイプラインと ML モデルを作成する際のプロセス、課題、メリットについて説明します。

詳細

この入門レベルのクエストでは、Google Cloud の基本的なツールやサービスに関する実践演習を行います。「Google Cloud Essentials」は Qwiklabs で特に人気のあるクエストですが、それはクラウドの予備知識がほとんどなくても、あらゆる Google Cloud プロジェクトに応用できる実際的な経験を積めるからです。 「Google Cloud Essentials」では、Cloud Shell コマンドの記述、初めての仮想マシンのデプロイ、Kubernetes Engine 上でのアプリケーション実行と負荷分散など、Google Cloud の主な機能を紹介します。主なコンセプトは 1 分間のビデオで説明されています。

詳細