AWSユーザーがETLを利用する5つのシナリオ

Reckoner編集部

2021.3.9

オンプレミスのサーバーを一切持たず、パソコンやスマートフォンといった端末を除く、ほぼ全ての顧客向けシステム、ならび社内システムをAWSに置いている企業は多いかと思います。

今回はAWSユーザーがETLを利用することで、どのように業務が効率化できるかについてご紹介します。具体的には、当社ETL「Reckoner」で実際にお客様が行っている「5つのシナリオ」に基づいて解説していきます。

関連記事:[AWSユーザー向け] ETLでデータ分析環境を構築するための3つのポイント

(1)Redshift→ETL→CSV, Excelなど

AWSのDWHであるRedshift上のデータを、ETLで抽出・変換、そして最終的にはCSV, Excel, RDS(MySQL, PostgreSQLなど)にロードするというシナリオです。

例えば、Redshift上にある進行中の商談データや顧客データ、過去の購買履歴などの情報を、従業員が分かりやすい形に変換した上でロードし、営業会議での参考資料にするイメージです。

データ活用の促進のため、「DWHには有用な情報があるので各自分析してください」と従業員に言っても、日々の業務が忙しく、またDWHの操作方法が分からないため、一般の従業員が自らDWH上のデータを分析することは、まずありません。

よって、CSVやExcelなどで表形式にしてデータを見て理解してもらう、または表形式で出したデータを元にダッシュボードを作り、そこから確認してもらうといったシナリオが考えられます。

(2)CSV, Excelなど→ETL→RDS (MySQL, PostgreSQLなど)

次は、CSVやExcelの情報をETLで変換したうえで、Redshiftに取り込むというシナリオです。

例えば、Excel形式で提供されたセミナー参加者の情報を、ETLであらかじめ設定された変換ロジックに基づいて変換したのちに、顧客マスターDBに投入するといった利用方法があります。

繰り返し用いられる変換ロジックは、あらかじめETL上に保存しておけるため、都度手動で変換を行う必要はありません。例えば、「A展示会の場合は、この変換ロジック」「B社主催のセミナーの場合は、この変換ロジック」「C共催イベントの場合は、この変換ロジック」といった形で、ETL上に保管しておき、データが来たらすぐに変換、ロードが可能です。

(3)Salesforce→ETL→Redshift

Salesforceが事実上、取引先、顧客、商談、受注などのマスターDBとして利用されている組織にとって有用なシナリオがこちらです。

Salesforce上のデータを、ETLで必要な変換を行った後にRedshiftにロードします。Redshiftにロードする際に、手動で変換を行う必要が無く、また決められたタイミング(日次バッチなど)に従い、自動でデータを変換、ロードを行ってくれるため、ほぼメンテナンスフリーでデータが新しいものに更新され続けます。

データの新鮮さが向上することによって、分析精度のアップ、データ変換・ロード作業工数の削減といったメリットがすぐに発揮できるシナリオです。

関連記事:SalesforceユーザーがETLを利用する5つのシナリオ

(4)Kintone→ETL→Redshift

Kintone上で基幹システムを組んでいる、また重要業務が回っているという組織に有用なシナリオがこちらです。

Kintone上のデータを、ETLで抽出したのち、あらかじめ定められたロジックに従い変換したのちにRedshiftにロードされます。ETLを利用する多くの組織では、毎日、または何時間に一度といった頻度でデータを自動で処理するバッチが組まれていますが、Kintoneでも同じ操作が可能です。これにより、データ処理にかかる人件費や外注費を大幅に削減可能かつ、ヒューマンエラーを防ぐことが可能です。

Kintone上で膨大なシステムが動いており、日々のメンテナンスだけでも大変といった組織には、特に工数削減およびコスト面での効果が大きいシナリオといえます。

(5) RDS (MySQL、PostgreSQLなど)→ETL→Redshift

DB上のデータを、ETLを介してDWHにロードし利用するシナリオがこちらです。顧客DB、商談DB、受注DBといった既存の各種DBからETLでデータを抽出、変換を行い、DWH (Redshift) にロードします。

ETLを用いると、各DBで用いられているデータ名や表記のブレを一元的に変換したのちに、DWHにロードしてくれます。そのため、データはロードされた時点で既に正しく整えられており、DWH上で修正するといった工数を削減できます。

また、変換作業はDB上でもDWH上でもなく、ETL上で実施されるため、DBやDWHのパフォーマンスに影響を与えることもありません。

当社ETL「Reckoner」でAWS上のデータ活用を強化

AWSユーザーがETLを利用する5つのシナリオについて、Redshiftとの連携を中心にご説明いたしました。ETLを利用することで、AWS上のデータを効率的に、また工数をできるだけかけずに活用頂ければと思います。

なお、当社はプログラミングなしで利用できるETL製品「Reckoner」を開発しています。上記でご説明差し上げたようなデータ抽出・変換・ロードのシナリオは、Reckonerを利用することで、エンジニアでなくても構築可能です。

ぜひ、Reckonerの資料をダウンロードいただき、ご検討いただければ幸いです。

今なら14日間無料!

資料請求、トライアルの申し込み、御社へ伺っての製品デモンストレーションまで、
お気軽にご相談ください。

資料請求・お問い合わせ