[初心者向け3分解説] ETLとは何か: 3つのポイントから理解する

Reckoner編集部

2020.12.7

ここ最近、データ分析やビッグデータといった文脈で「ETL」という単語を耳にすることが増えてきました。以下では、「3分でETLの概要を正しく理解する」をテーマに、ETLについて分かりやすくお伝えします。

ETLとは何か

ETLとは、データ処理に関する E、L、T の頭文字を組み合わせた略語です。

  • Extract: データを抽出する
  • Transform: データを加工・変換する
  • Load: データをロードする

すなわち、ETLとは「データを抽出し、加工変換し、ロードする」一連の作業を指します。例えば、私たちが普段何気なく行っている以下のような作業も「手動のETL」とも呼べます。

  • 「東京都渋谷区渋谷1-1-1」という住所を、「東京都」と「渋谷区渋谷1-1-1」に分割する
  • 「03-1234-5678」という電話番号を、「0312345678」や「+81312345678」に変換する
  • 「田中」と「一郎」という氏名情報を、「田中一郎」として結合する
  • 「10000」と「20000」という売上情報を、「30,000」として統合・変換する

元データはあくまで「東京都渋谷区渋谷1-1-1」「03-1234-5678」「1000000」だが、これらのデータを必要に応じて加工・変換して提供する。または、複数のデータを変換・統合する。

決められた条件に従い、膨大なデータをリアルタイム、またはバッチで処理する。これにより、「処理の正確性」と「高いコストパフォーマンス」を実現する。これが「ETL」です。

ETLツールとは何か

大量のデータを、様々なデータソースから取得し、ロード先のシステムに最適化されたデータに変換・加工する。ETLは、人手では到底できない作業を機械的に行うことに価値があります。

ETLの必要性については、「個人」と「企業・組織」のデータ変換・加工の違いを理解すると話が早いです。

個人の年賀状用住所データであれば、変換・加工が必要になっても数十件、数百件程度で済みますので、手動でも対応可能です。また、年に一度程度しか発生しない処理なので、継続的に工数がかかり続けることはありません。

しかし、企業や組織が管理するデータは数百万件、数千万件、はたまた数億件以上を超えるデータとなる場合があります。また、こうしたデータはリアルタイムや日時での更新が必要になるものも多く、人手で行うには「正確性」と「コストパフォーマンス」の両方を満たすことができません。

また、管理するデータ項目も多岐に渡ります。以下はその一例です。

個人情報郵便番号、住所、氏名、メールアドレス、電話番号、家族情報、顧客IDなど
企業・組織情報会社名、住所、代表者名、担当者名、企業信用情報、企業IDなど
購買データ購入日時、購入製品、購入個数、単価、値引き率、購買IDなど
商談データ企業名、商談ステージ、見込み売上額、商談確度、提案中製品、担当者名など
財務データ売上、利益、人件費、広告費、賃料、商品原価など

さらに、元データが所在する場所(データソース)も多岐に渡ります。

  • 会計ソフト
  • 営業支援ソフト(SFA)
  • 顧客管理ソフト(CRM)
  • マーケティング自動化ツール(MA)
  • Web解析ツール
  • データベース
  • データウェアハウス
  • 各種SaaSなど

このため、データ数、データ項目、データソースが違うことにより、以下のようなデータ連携が必要となります。

  • 「元データAを、システムBとCとDで利用する」
  • 「BとCとDでは、それぞれデータフォーマットが違うので別々に変換が必要」
  • 「BとCは、日単位の更新でよいが、Dは5分ごとの更新が必要」

このため、複数のデータソースからデータを取得し、各出力先に合わせてデータを最適な形で変換・加工し、必要なタイミングで各システムにロードできるETLツールが必要となり、多くの業種・業態で利用されるようになりました。

ETLツールを利用する3つのメリット

では、企業や組織がETLツールを利用するメリットは何でしょうか。3つのポイントから見ていきましょう。

1.専門的な知識がなくても利用できる

ETLツールの中には、プログラミング知識なしに利用できるように設計された製品もあります。例えば、当社のETLツール「Reckoner」(レコナー)を例にあげると、ドラッグ&ドロップで「データソース」「処理内容」「出力先」を選択し、画面上で入力するだけで、データ変換・加工を実施できます。

これは、専門的な知識を持つエンジニアに都度データ取得を依頼しなくてもよくなることを意味します。非エンジニアの担当者にとっては、自分が必要なタイミングでデータを変換・加工を行えることを意味します。

そしてエンジニアにとっては、データ取得・加工といった業務に時間を割かずに済み、より優先度の高い業務に注力できるようになります。

2.データの変換・加工時のヒューマンエラーがなくなる

人の手でデータを加工する場合、ヒューマンエラーから逃れることはできません。ヒューマンエラーにより、「変換したつもりが変換されていなかった」「一部しか変換されていなかった」「間違ったデータが挿入されてしまった」といったデータの変換・加工ミスが発生しがちです。

加工ミスがあった場合、データの再取得・再加工といった手戻り作業が必要になります。さらに、誰もエラーに気付かず間違ったデータに基づく意思決定が行われるリスクもあります。

ETLを利用する場合、「元データ→ETL→別システム」という流れで機械的にデータを取得、変換・加工、そしてロードされます。人の手を介在しないので、あらかじめ決められた条件やロジックに基づいてデータが正しく処理できるため、ヒューマンエラーが発生しません。

3.データ連携コストと工数を削減できる

例えば、毎日・数十分~数時間かかる定型的なデータ変換・加工作業を、従業員やベンダーに実施させた場合、毎日少なくとも時給換算で数千円~数万円の人件費が発生します。

また、手動作業であるためヒューマンエラーが起こりやすいことを考えると、トラブル対応でさらなる人件費がかかる場合もあるでしょう。

さて、ETLツールは大きく分けて「買い切り型」と「月額型」(サブスクリプション)があります。

買い切り型ETL製品の多くは「物理サーバー全盛期」からの設計を引き継いでいるものが多い反面、月額型ETL製品の多くはクラウド普及後の設計となっている「クラウドネイティブ」の製品です。

以下では、「買い切り型(クラウドネイティブでない製品)」と比べた際の、「月額型(クラウドネイティブ)」のメリットについて3つお伝えします。

1つめは、「月額型の費用体型であるためコスト負担が少ない」ことです。例えば、3年間で360万円かかる製品があったとして、「初回に360万円を支払う」のと、「毎月10万円を3年間支払う」のであれば、多額のキャッシュが一時的に出てしまう前者よりも、毎月払いの後者のほうが負担が少ないです。

2つめは、「導入後も製品の解約が容易」という点です。導入後に製品の機能や安定性、使い勝手などに大きな不満が出てきた際、買い切り型の製品であればコストを全て支払い済であるため、嫌々ながら使い続けなければなりません。これに対して、月額型の製品であれば、短期間で解約を行うことが可能です。

3つめは、「インフラ構築に割く労力と費用がゼロ」という点です。クラウドネイティブでない製品は、製品を稼働させる前作業の負担が大きいです。

クラウド上の仮想マシン(または物理サーバー)を用意し、データベースを用意し、ネットワークを準備し、ストレージを準備し、これらを接続させ、ポリシーの設定を行い、といった具合に、本質的でない部分に多くの工数を割く必要があります。

また、ソフトウェアのアップデートなども定期的に自身で行う必要があります。不正アクセスなどを防ぐために、セキュリティ面にも十分に注意しなければなりません。

これに対して、クラウドネイティブの製品の場合、管理者としてログインし、必要なIDを作成すれば、すぐに必要な作業に取りかかれます。インフラ周りはすべてお任せできるので、自身でインフラ面のメンテナンス作業を行う必要が皆無となります。

このように、クラウドネイティブの月額型の製品には多くのメリットがあります。

クラウドネイティブETL「Reckoner」を無料お試し

当社が提供するETL製品「Reckoner(レコナー)」は、単純なデータ加工から、複数のデータソースから取得したデータの複雑な加工まで、様々な要件に合わせてデータ変換を行うETL製品です。

非エンジニアでも簡単に利用できるよう、ドラッグ&ドロップでの直感的な操作を実現しているため、ETLの操作にかける時間を最小化し、本質的なデータ分析・データ活用により多くの時間を割けるようになります。

接続先は100種類以上(データベース、クラウド基盤、SaaSなど)に対応しています。主な対応製品は以下の通りです。なお、下記以外にも多くの対応製品がございます。

AWSS3, Redshift
GCPBigQuery, CloudStorage, Datastore
データベースMySQL, PostgreSQL, Accessなど
スプレッドシート/ファイルGoogle Sheets, Excel, CSVなど
マーケティングMarketo, Pardot
CRM/SFASalesforce, Zoho, Hubspot
広告Facebook広告, Google広告, Yahoo広告
Web解析Google Analytics, Google Search Console, Google Lighthouse
その他SaaSKintone, King of Time, Sansan, Jiraなど

クラウドネイティブのETL製品「Reckoner」は、14日間無料トライアルが可能ですので、ぜひお試しください。不明点があれば、スタッフがオンライン、または訪問でご支援させていただきます。

今なら14日間無料!

資料請求、トライアルの申し込み、御社へ伺っての製品デモンストレーションまで、
お気軽にご相談ください。

資料請求・お問い合わせ