[データ整備のコスト比較] 手動コーディング vs. ETL利用
データドリブンな組織を作るには、データが整備された環境を構築することが必須です。そこで活躍するのが「ETLツール」です。ETLは社内で散見しているデータを必要な形に整形し、データを一括管理するのに役立つツールで、システムやアプリ間でデータを連携する際に使用されることが多いです。
もしこのデータ整備の作業をETLを使用せず、手動で行なったらどのぐらいのコストがかかるのでしょうか。今回の記事ではETLを使ったデータ整備と手動コーディングによるデータ整備のコストの違いについて解説していきます。
あくまで目安ですが、ETL導入の際の参考にしてみてください。
目次
手動コーディングにかかるコストは大きく3つ
手動コーディングでデータ整備をする場合、以下の3つの点でコストがかかります。それぞれ解説していきます。
データエンジニアの採用コスト
データ整備を行うのであれば当然、データエンジニアを採用せねばなりません。データの取り扱いに関しては通常のシステムエンジニアの作業領域とは大きく異なるため、データに精通し、扱い方を熟知している人材が必要になります。
データエンジニアはデータ活用が盛んな現在、非常に注目を集めている存在であり、知識やスキルセットも高度なものが求められています。そのためデータエンジニアの給与は一般的な人材よりも高くなる傾向にあります。
アメリカの企業レビューサイトであるglassdoorによると、アメリカデータエンジニアの平均給与は約1,100万円(1ドル110円計算)となっています。日本ではエンジニアの採用費用はもう少し安価ですが、それでも500～1000万円程度の費用を見込む必要があります。
参照：https://www.glassdoor.com/Salaries/data-engineer-salary-SRCH_KO0,13.htm
一般的に、人材会社の採用を依頼した場合、年収の30%～40%程度を手数料として支払う必要があります。よって、データエンジニアを一人採用するのにかかる採用コストは以下となります。
給与500万円の30～40％ → 150万円～200万円
給与1,000万円の30～40% → 300万円～400万円
人材を採用する段階で、数百万円のコストを見込まねばなりません。この費用には、「役員や従業員が、面接や書類審査などの選考プロセスで割く時間」は含まれていませんので、見えないコストを含めたトータルの費用はこれよりも高くなります。
データ整備のための開発コスト
続いて、データ整備にかかる開発コストについても見ていきましょう。
アプリのAPIが優秀な場合であっても、フォーマットや提供方法が異なるためそれなりの開発工数がかかります。また連携したいデータソースが複数ある場合、それぞれのデータの持ち方や仕様を調査したうえで開発する必要があり、その点でも手間がかかるでしょう。
1データソースを連携するのにかかる工数は2人月、エンジニアの人件費を月100万円として考えた場合、連携データソース数5つで1,000万円を超える費用がかかるという事になります。
データソース5つを連携させる場合の開発費用：1,000万円
この計算はあくまで目安であり、データの整備の度合によっても大きく異なる点です。データの加工・クレンジング・変換といった作業工数を考慮すれば、1,000万というのは最も安く行なった場合のコストとして考えておくと良いでしょう。そして、採用コストを含めると、1,000数百万円になります。
データの取得・プログラム変更にかかるコスト
手動コーディングはETLと違い、データの取得対象の仕様変更や追加があるたびにプログラムを書き換える必要があります。複雑な変更になればなるほど工数はかかり、テストに費やす時間も増します。また手動コーディングで行なうケースでは、単純なデータの取得に関してもエンジニアに任せることが多く、エンジニアの他業務を圧迫します。
ETLを使用している場合、データに精通していない一般社員でも扱えるように設計してあることがほとんどで、工数がかかりにくいというメリットがあります。その点も考慮すると、「データ取得のバッチ作成」「都度対応が必要なデータ取得」「プログラムの変更・追加」などが日常的に発生することが容易に考えられます。
手動コーディングの場合、作業自体が属人化してしまうこともあるため、担当者がいなくなったタイミングや休暇のタイミングで膨大な時間とコストが追加でかかることもあります。
ETLを使用した場合にかかるコスト
先述した通り、ETLを使用せずにデータ環境を整備するのにはおよそ1,000万以上の費用が最低でもかかることがお分かりいただけたと思います。
もしETLを使用してデータ整備を行うのであれば、大きくコストダウンすることが可能です。「3日かけて行っていた作業が3分でできるようになった」なんて話もあるほど、ETLは効率的でコストパフォーマンスに優れています。
今後データ活用を主軸にビジネスを行なっていくならなおさらです。一度データを整備してしまえば、長期的に活用すればするほどコスト面での恩恵は大きくなります。
最後に：データ活用をするならETLを使用するのがベスト
最後にETLを使用するメリットをまとめておきます。
・点在するデータを集約して管理できる
・システムの開発コストを抑えられる
・GUI上で取得するデータの追加/変更ができる
・データの品質やデータ分析の品質が担保できる
・定期処理による手作業工数の削減
・データの視覚化による情報格差の解消（BIとの連携により）
これを機にETLの導入を検討し手動コーディングと比較してみてください。弊社のETLツールである「Reckoner（レコナー）」は、GUIからの直観的な操作を実現し、プログラミング知識なくETL（Export, Transform, Loadを意味する、データの自動一括抽出・変換・投入サービス）を利用できます。
費用も月額15万円から利用可能で、データエンジニアでない「非エンジニア」の方が処理を作成できます。連携先の仕様変更などもすべてETL側で対応しますので、「データ連携処理の作成」のみに効率的に時間を割くことができます。
データ分析の柱として、データの活用をご検討の企業・組織に14日間無料トライアルをご提供しておりますので、ぜひご活用ください。
ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。
