GCPユーザーがETLを利用する5つのシナリオ

Reckoner編集部

2021.3.29

AWS、Azureと並ぶ「3大クラウド基盤」として活用されている「Google Cloud Platform (GCP)」ですが、フルラインナップのサービスが提供されているだけでなく、超高速なデータ処理を売りとする「BigQuery」など、強力なサービスも多数有しています。

以下では、GCPユーザーが具体的にどのようにETLを利用して業務を効率化しているかについて、ETL製品「Reckoner」開発元である当社ならびユーザー企業様の経験を踏まえて、「5つのシナリオ」をご紹介いたします。

関連記事:AWSユーザーがETLを利用する5つのシナリオ

(1)BigQuery→ETL→Cloud SQL (MySQL, PostgreSQL)

GCPのDWHであるBigQuery上のデータを、ETLで抽出・変換、そしてGCPのRDBサービスであるCloud SQL (MySQL, PostgreSQL, SQL Server) にロードするというシナリオです。

例えば、BigQuery上にある各所から集められたデータの中から、必要なデータのみを切り出してRDBに載せ、システム・サービスを構築するイメージです。

具体的には、高速なBigQueryでデータの取捨選択・分析を行い、欠かせないデータを特定、その後当該システム・サービスで利用するフォーマットにデータを変換したうえでロードする、という流れです。

高速なBigQueryの活用、高速なETLデータ処理により、短時間で大量のデータが準備可能となります。これにより、新規システム・サービス稼働までの時間を短縮できます。

(2)Cloud SQL (MySQL, PostgreSQL)→ETL→BigQuery

次は、上記1とは逆に、RDB上のデータをETLで変換した上で、BigQueryにロードするというシナリオです。

各システム・サービスに点在している多数のデータベース上のデータを、必要なデータ変換をETLで行った上で、BigQueryにロードし、データを集約するイメージです。

BigQueryをメインのDWHとして利用し、多数のRDBを接続させているユーザーからすると、最も多く利用され、またコスト効果やデータ変換効率が分かりやすいシナリオの1つです。

(3)Cloud Storage → ETL → BigQuery

オブジェクトストレージであるCloud Storage上のデータを、ETLで変換したうえで、BigQueryに集約するというシナリオです。

これは、上記2のRDB→ETL→BigQueryという「DWHに分析用データを集約する」のと同じ用途になりますが、データベースではなくオブジェクトストレージである点が異なります。

多くのETLでは、オブジェクトストレージも問題なく取り扱うことができます。これによりユーザーは、その都度データの取得方式やデータ変換の違いを意識する必要がなくなります。そして、BigQuery上にロードされたデータを一元的に取り扱うことが可能となります。

(4)BigQuery→ETL→Excel, CSV

BigQuery上のデータを、ETLで変換した後に、ExcelやCSVにロードするシナリオがこちらです。

DWH上のデータの中から、特に重要な項目のみを抽出し、表形式でデータを保持します。必要なデータのみをわかりやすく共有し、「経営会議」「営業会議」などの場で議論や検討する際に多用されます。また、特定の領域におけるデータを定型フォーマットで都度出力し「定点観測」するのも有効です。

(5)Excel, CSV→ETL→BigQuery

ExcelやCSVで取得した比較的小規模なデータを、ETLで変換した後にBigQueryにロードするシナリオです。

例えば、「セミナー参加者情報」「協業企業から共有された見込み客リスト」「担当者が短時間で分析したデータセット」などを、DWHに投入する際に利用されます。

ExcelやCSVで作成されたデータの多くは、DWHに格納されているフォーマットに最適化されていないため、ETLで変換してからロードします。

ETL「Reckoner」でGCPのデータをさらに活用

GCPユーザーがETLを利用する5つのシナリオについてご紹介しました。5シナリオともにBigQueryが用いられており、GCPにおけるBigQueryの存在感がいかに強いかが、改めて思い知らされます。

BigQueryは、各データソースからデータを集約する場所として、またデータ出力元として、多くの企業で多用されています。ETLを利用することで、都度データ変換を指定する必要がなくなるため、正確かつ効率的なデータ処理が可能となります。

当社が開発するETL「Reckoner」は、BigQueryユーザーから多くの支持を得ている、強力なETL基盤です。上記でご説明差し上げたようなデータ抽出・変換・ロードのシナリオは、Reckonerを利用することで、エンジニアでなくても構築可能です。

ぜひ、Reckonerの資料をダウンロードいただき、ご検討いただければ幸いです。

関連記事

今なら14日間無料!

資料請求、トライアルの申し込み、御社へ伺っての製品デモンストレーションまで、
お気軽にご相談ください。

資料請求・お問い合わせ