Choudhury Bhaskar
メンバー加入日: 2022
シルバーリーグ
3540 ポイント
メンバー加入日: 2022
Welcome to Cloud Composer, where we discuss how to orchestrate data lake workflows with Cloud Composer.
このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。
ML をデータ パイプラインに組み込むと、データから分析情報を抽出する能力を向上できます。このコースでは、Google Cloud でデータ パイプラインに ML を含める複数の方法について説明します。カスタマイズがほとんど、またはまったく必要ない場合のために、このコースでは AutoML について説明します。よりカスタマイズされた ML 機能については、Notebooks と BigQuery の機械学習(BigQuery ML)を紹介します。また、Vertex AI を使用して ML ソリューションを本番環境に導入する方法も説明します。
ストリーミングによって企業が事業運営に関するリアルタイムの指標を取得できるようになり、ストリーミング データの処理を行う機会が増えてきました。このコースでは、Google Cloud でストリーミング データ パイプラインを構築する方法について学習します。受信ストリーミング データの処理のために Pub/Sub について説明します。また、このコースでは、Dataflow を使用してストリーミング データの集計や変換を行う方法、処理済みのレコードを分析用に BigQuery や Bigtable に保存する方法についても説明します。さらに、Qwiklabs を使用して Google Cloud でストリーミング データ パイプラインのコンポーネントを構築する実践演習を行います。
通常、データ パイプラインは、「抽出、読み込み(EL)」、「抽出、読み込み、変換(ELT)」、「抽出、変換、読み込み(ETL)」のいずれかの考え方に分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。また、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行います。
すべてのデータ パイプラインには、データレイクとデータ ウェアハウスという 2 つの主要コンポーネントがあります。このコースでは、各ストレージ タイプのユースケースを紹介し、Google Cloud で利用可能なデータレイクとデータ ウェアハウスのソリューションを技術的に詳しく説明します。また、データ エンジニアの役割や、効果的なデータ パイプラインが事業運営にもたらすメリットについて確認し、クラウド環境でデータ エンジニアリングを行うべき理由を説明します。 これは「Data Engineering on Google Cloud」シリーズの最初のコースです。このコースを修了したら、「Google Cloud でのバッチデータ パイプラインの構築」コースに登録してください。
このコースでは、データから AI へのライフサイクルをサポートする Google Cloud のビッグデータと ML のプロダクトやサービスを紹介します。また、Google Cloud で Vertex AI を使用してビッグデータ パイプラインと ML モデルを作成する際のプロセス、課題、メリットについて説明します。
このオンデマンド速習コースでは、Google Cloud で提供される包括的かつ柔軟なインフラストラクチャとプラットフォームのサービスについて、Compute Engine を中心に紹介します。受講者は、動画講義、デモ、ハンズオンラボを通してソリューションの各要素について学習し、演習を行います。これらの要素には、ネットワーク、システム、アプリケーション サービスなどのインフラストラクチャ コンポーネントが含まれます。また、実践的なソリューションの実装も取り上げ、顧客指定の暗号鍵、セキュリティとアクセス管理、割り当てと課金、リソース モニタリングなどについても学習します。
このコースでは、Google Cloud のインフラストラクチャとアプリケーションのパフォーマンスをモニタリングして改善するための手法を学びます。 プレゼンテーション、デモ、ハンズオンラボ、実際の事例紹介を組み合わせて活用することにより、フルスタック モニタリング、リアルタイムでのログ管理と分析、本番環境でのコードのデバッグ、アプリケーション パフォーマンスのボトルネックのトレース、CPU とメモリ使用量のプロファイリングに関する経験を積むことができます。
このコースでは、Google Cloud 向けに Terraform を使用する方法の概要を説明します。このコースを受講すると、Terraform を使用して Infrastructure as Code を実装し、その主要な特性と機能を使って Google Cloud インフラストラクチャを作成および管理する方法について説明できるようになります。 また、Terraform を使用して Google Cloud のリソースを構築、管理する実践的な演習を受けられます。
このオンデマンド速習コースでは、Google Cloud が提供する包括的で柔軟なインフラストラクチャとプラットフォーム サービスについて紹介します。動画講義、デモ、ハンズオンラボを通してさまざまなソリューションの要素について学び、実際にデプロイしてみます。これにはセキュリティを維持しながらネットワークを相互接続する方法や、ロード バランシング、自動スケーリング、インフラストラクチャの自動化、マネージド サービスも含まれます。
「Google Cloud における Terraform を使用したインフラストラクチャの構築」の中級スキルバッジを獲得すると、 Terraform を使用した Infrastructure as Code(IaC)の原則、Terraform 構成を使用した Google Cloud リソースのプロビジョニングと管理、 状態の効果的な管理(ローカルおよびリモート)、組織内での再利用性を念頭に置いた Terraform コードのモジュール化といったスキルを実証できます。 スキルバッジは、ハンズオンラボと課題の評価を通じて特定のプロダクトに関する実践的な知識を証明するものです。コースを修了してバッジを獲得することも、 チャレンジラボに直接挑戦して今すぐバッジを獲得することもできます。バッジは、習熟していることを証明し、 仕事用プロフィールを充実させ、最終的にはキャリアの可能性を広げることにつながります。 プロフィールにアクセスすると、獲得したバッジを確認できます。
「Google Cloud におけるアプリ開発環境の設定」コースを完了すると、スキルバッジを獲得できます。このコースでは、 Cloud Storage、Identity and Access Management、Cloud Functions、Pub/Sub のテクノロジーの基本機能を使用して、ストレージ中心のクラウド インフラストラクチャを構築し接続する方法を学びます。 スキルバッジは、Google Cloud のプロダクトとサービスの習熟度を示す Google Cloud 発行の限定デジタルバッジです。 インタラクティブなハンズオン環境で知識の応用力が試されます。このスキルバッジと最終評価チャレンジラボを完了し、スキルバッジを獲得してネットワークで共有しましょう。
Compute Engine でのロード バランシングの実装 スキルバッジを獲得できる入門コースを修了すると、次のスキルを実証できます: gcloud コマンドの記述と Cloud Shell の使用、Compute Engine における仮想マシンの作成とデプロイ、 ネットワーク ロードバランサと HTTP ロードバランサの構成。 スキルバッジは、Google Cloud の プロダクトとサービスに関する習熟度を示す Google Cloud 発行の限定デジタルバッジです。 これは、インタラクティブなハンズオン環境での知識の応用力を 証明するものです。この入門コースと最終評価チャレンジラボを完了し、 スキルバッジを獲得しましょう。このスキルバッジはネットワークで共有できます。
「Google Cloud ネットワークの構築」コースを修了してスキルバッジを獲得しましょう。このコースでは、 アプリケーションをデプロイしてモニタリングするための複数の方法について学びます。具体的には、IAM ロールの確認とプロジェクト アクセスの追加 / 削除、 VPC ネットワークの作成、Compute Engine VM のデプロイとモニタリング、 SQL クエリの記述、Compute Engine での VM のデプロイとモニタリング、Kubernetes を使用した複数のデプロイ アプローチによるアプリケーションのデプロイなどです。 スキルバッジは、 Google Cloud のプロダクトとサービスの習熟度を示す Google Cloud 発行の限定デジタルバッジです。 インタラクティブなハンズオン環境で 知識の応用力が試されます。このスキルバッジと 最終評価チャレンジラボを完了し、スキルバッジを獲得して ネットワークで共有しましょう。
このオンデマンド速習コースでは、Google Cloud で提供される包括的かつ柔軟なインフラストラクチャとプラットフォームのサービスについて、Compute Engine を中心に紹介します。受講者は、動画講義、デモ、ハンズオンラボを通してさまざまなソリューションの各要素について学習し、実際のデプロイを演習します。これらの要素には、ネットワークや仮想マシン、アプリケーション サービスなどのインフラストラクチャ コンポーネントが含まれます。コンソールと Cloud Shell を使用して Google Cloud を運用する方法についても学習します。また、クラウド アーキテクトの役割、インフラストラクチャ設計の方法、Virtual Private Cloud(VPC)を使用した仮想ネットワークの構成、プロジェクト、ネットワーク、サブネットワーク、IP アドレス、ルート、ファイアウォール ルールについても学習します。
Google Cloud の基礎: コア インストラクチャ では、Google Cloud に関する重要なコンセプトと用語について説明します。このコースでは動画とハンズオンラボを通じて学習を進めていきます。Google Cloud の多数のコンピューティング サービスとストレージ サービス、そしてリソースとポリシーを管理するための重要なツールについて比較しながら説明します。