しかし、データに基づく分析を行ったところで、データに基づく意思決定が根付いていないと、最終的には勘と経験に頼った意思決定を行い、データ分析作業の多くが無駄になりかねません。

本記事では、データドリブンな組織の形成に必要な要素について記載し、具体的な組織文化、組織変革について解説します。

目次

• データドリブンとは
• データドリブンな組織を作るコツ
  • トップダウンの場合
  • ボトムアップの場合
• データドリブンな組織を作る3つのポイント
  • 一気にすべてを進めない
  • データ分析を目的化しない
  • 正確なデータを共有する
• データドリブンな組織を実現するReckoner

データドリブンとは

データドリブンとは、データに基づいた意思決定を行うことです。こうした意思決定のフェーズを設けている企業は、「データドリブンな組織」と呼ばれます。データドリブンと対比して語られるのは「勘と経験による意思決定」です。

例えば、企業のある商品の販売計画を立てるとします。責任者がこれまでの経験や勘にもとづき販売計画を立てたとしても、データに基づかない判断を行った場合、計画と実際の結果には大きな乖離が生まれるリスクがあります。

また、同じ環境であっても、担当者によって異なった判断を行ってしまう「意思決定のばらつき」が生じることもリスクとなります。

こうしたリスクを回避するためには、組織は意思決定に必要なデータを、ユーザーが容易に分析できる形で提供することが必要です。

また、データドリブンな組織とは、以下の要素を満たしていることが条件です。

• 部署問わず横断的なデータ共有がされている
• データに基づく議論がなされる
• データに基づく意思決定がなされる
• 勘や経験、思い込みといった主観的な要素が排除されている

このように、データドリブンな組織とは「勘や経験からデータ重視」という組織文化の改革と、「誰もがデータを分析できる環境づくり」というツールの導入や利用という2つの側面があると考えてよいでしょう。データドリブンについては、過去の記事でも解説しているので、是非ご覧ください。

• 参考記事:データドリブンな組織と活用戦略

データドリブンな組織を作るコツ

データドリブンな組織を作るときは、データによる意思決定の重要性を深く理解した経営トップによる、トップダウンで進めることが理想的です。

しかし、企業によっては「経営層がむしろ勘と経験に頼っている」「全社的にデータが容易に分析できる環境がない」など、難しい場合もあるでしょう。その場合は、部門レベルから小さな実践を行い、そこから適用範囲を徐々に拡大するボトムアップのアプローチが現実的です。

ここでは、それぞれの進め方を解説します。

トップダウンの場合

トップダウンでデータドリブンな組織を実現する場合のポイントは、経営者が実際にデータに基づく意思決定を行うことです。例えば、経営会議における意思決定において、常に提出されたデータに基づいて判断を行うことで、「データがなければ、そもそも各部門の意見を通せない」ことが当たり前の文化となります。

トップダウンで重要なのは、経営者がデータに基づく意思決定の重要性を繰り返し語り続けることです。特に、これまで勘と経験に基づく意思決定が長く続いてきた組織であれば、「そのうち、もとの勘と経験に基づく意思決定スタイルに戻るだろう」と、経営者の取り組みを冷ややかに見る従業員も少なくないでしょう。

経営者は、「これまでのような勘と経験だけでは通用しない。データに基づかない提案は全て差し戻す」くらいの強い姿勢を見せない限り、組織の隅々までデータドリブンが浸透するのは難しいといえます。

ボトムアップの場合

ボトムアップの場合は、全社的にデータドリブンな組織への移行が難しいことが前提となります。しかし、組織の上長が理解を示せば、スモールスタートしやすいでしょう。

主な進め方は、部門ごとに課題を洗い出し、課題に対するKPIを設定します。その後、データの収集から分析までを実施し、KPIの達成に向けてデータに基づいた提案や解決のアプローチを議論し、意思決定を行います。まずは、自身の担当する業務から進めていき、少しずつ範囲を拡げていくと良いでしょう。

ただし、経営層などの上の立場の方がデータの重要性を理解していない場合、データドリブンの考え方を否定され、取り組み自体が終わってしまうリスクもあります。

データドリブンな組織を作る3つのポイント

データドリブンな組織における前提は以下となります。

• 部署問わず横断的なデータ共有がされている
• データに基づく議論がなされる
• データに基づく意思決定がなされる
• 勘や経験、思い込みといった主観的な要素が排除されている

上記を踏まえた上で、文化の醸成として以下3つのポイントも重要です。

• 一気にすべてを進めない
• データ分析を目的化しない
• 正確なデータを共有する

一気にすべてを進めない

データドリブンな組織への変化は、組織における意思決定文化が大きく変わる取り組みです。経営者がデータドリブンに本気であっても、組織の隅々までデータドリブンが浸透するには時間がかかります。また、意思決定方法を全て一気に変えてしまうと、従業員が混乱します。

このため、組織において徐々にデータドリブンを広げていくアプローチが必要となります。例えば、パイロットして特定の部門をピックアップして、データドリブンを実践させた上で、そこでの学びを生かして適用する部門を広げていく、といったアプローチが有効です。別な言い方をすると、トップダウンでデータドリブンを進められる状況であっても、スモールスタートが有効であるともいえます。

データ分析を目的化しない

データドリブンというと、「データをひたすら深く分析することが良い」と勘違いする従業員が出てくる危険性があります。しかし、重要なのは「データ分析は手段であって目的ではない」「データ分析のためのデータ分析であってはいけない」という点です。

目的を達成するためには、まずは仮説が必要です。仮説を立てて、その仮説を検証するためにデータを分析します。そして、分析の結果、目的が達成できそうかどうか、またはどの程度達成されるのかをデータから判断します。この分析と判断に基づく提案を社内で行い、承認を得て、実作業に入ります。

そして、これらのプロセス１つ１つに時間をかけすぎてはいけません。データ分析は手段であり、必要な範囲の分析を短時間で行う、仮説を検証する範囲だけ分析を行うという割り切りも重要です。

正確なデータを共有する

データドリブンにおいては、データが正確であるのは大前提です。データの正確性に問題があった場合、データドリブンを進める意味がなくなります。

そのため、データドリブンの組織づくりをするうえでは、「正確なデータが共有されているか」「データの品質はどのように担保されているのか」を必ず確認しながら進める必要があります。

データドリブンな組織を実現するReckoner

今回は、データドリブンな組織の形成に必要な要素について記載し、具体的な組織文化、組織変革を解説しました。

データドリブンな組織づくりを実現するためには、データ品質が重要となります。単にデータが存在するだけでなく、分析可能で、かつ品質が担保されている必要があります。これを行うために必要なのはETLツールです。

当社のETLツールである「Reckoner（レコナー）」は、GUIからの直観的な操作を実現し、プログラミング知識なくETL（Export, Transform, Loadを意味する、データの自動一括抽出・変換・投入サービス）を利用できます。

BIツールの導入支援も行っておりますので、データ活用をご検討の企業・組織様はぜひ一度お問い合わせ頂ければと思います。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post [データに基づく意思決定] データドリブンな組織作りに必要なアプローチとは first appeared on Reckoner.

そこで注目されているのが、クラウドを活用した統合的なデータ管理を実現する「DaaS（Data as a Service）」です。

本記事では、DaaSの定義やパターンを解説し、そのうえでどのようなメリットがあるかを解説していきます。

目次

• DaaSの定義について解説
• DaaSには4つのパターンがある
  • データ分析ツール
  • データセット提供
  • IoT, IIoT
• DaaSのメリット
  • コスト低減につながる
  • これまで収集・分析できなかったデータを活用できる
  • 安定稼働を実現できる
• まとめ

DaaSの定義について解説

DaaS（Data as a Service）とは、データに関わる以下の機能をクラウドリソースで利用できるサービスです。

1. データセット
2. データストレージ
3. データ処理
4. データ解析

DaaSはオンプレミスの環境構築が不要なため、SaaS（Software as a Service）と似ています。DaaSは、SaaSと同様にサーバの運用管理を考えず、「サービスとしてのデータ利用」だけに集中できます。

DaaSには4つのパターンがある

DaaSには、主に以下の4つのパターンがあります。

1. データ計算・処理リソース提供サービスプラットフォーム
2. データ分析ツール
3. データセット提供
4. カスタマイズサービス

それぞれのパターンを解説しましょう。

データ計算・処理リソース提供サービスプラットフォーム

1つ目は、クラウド上でユーザーのデータ処理を高速でおこなうサービス提供です。具体的には、「ETL」と「ML（機械学習）」がよい例です。

ETLとは「Extract （抽出）、Transform（変換・加工）、Load（格納）」の頭文字を取った言葉で、データ統合を行う処理または処理を行うためのツールを指します。かつてETLは、各企業が独自に開発していたり、オンプレミス上に構築する必要がありましたが、現在ではクラウド経由で「データ処理サービス」として利用可能となっています。

• 参考記事:ETLツールとは？成功事例や選び方のポイント、メリットについて解説！

MLとは「Machine Learning」の略で、機械学習を指します。多くのクラウドベンダーではすでにMLはサービスメニューの1つとして提供されています。クラウド上のリソースを活用し、大量のデータを繰り返し学習させることで、プログラム自身で高度な判断が可能となります。

データ分析ツール

2つ目は、主にユーザーが利用するデータ分析ツールをクラウド上で提供するサービスです。「Tableau」などの、クラウドベースのBIツールが当てはまります。

多くの企業では、オンプレミスの環境よりも、SalesforceやMarketo、KintoneなどのSaaS環境が業務システムの中心となっています。このため、複数のSaaSと接続してクラウド上でBIを提供するサービスも、ある種の「DaaS」と呼ぶことができます。

• 参考記事:【用語集】BI（Business Intelligence）

データセット提供

3つ目は、クラウド上でデータセットを提供するサービスです。例えば、気象情報、地域情報、企業の人事情報などです。これもDaaSの一種といえます。

インターネット経由でデータセットを提供するサービスはクラウド登場以前からありました。しかし、以前のサービスはデータセットをダウンロードし、データセットの実装は自身で手動で行う必要がありました。

SaaS利用の進展により、提供されるデータセットをそのまま、主要なSaaSに搭載することが可能となっています。これにより、ユーザー側でのデータセットの実装作業がほぼ不要となりました。

IoT, IIoT

4つ目は、IoTなどから取得したデータを分析可能な状態にし、クラウド経由で提供するサービスです。こうしたサービスはIIoT (Industrial IoT)と呼ばれることもありますが、DaaSの一種といえます。

こうしたDaaSは、「プラットフォームとして、統一的なデータ収集・分析手法」をサービスとして提供しています。例えば、GEデジタルが提供する「Predix」や、シーメンスが提供する「Mindsphere」などが有名です。しかし、業界全体での統一的な仕様策定には至っておらず、横断的な普及には至ってません。

DaaSのメリット

DaaSには、以下3つのメリットがあります。

• コスト低減につながる
• データ活用の促進ができる
• 安定稼働を実現できる

コスト低減につながる

DaaSは、クラウド上でサービスが提供されるため、コスト低減につながります。

オンプレミスのように、ハードウェアの調達や細かな環境設定が不要なため、初期コストを削減できます。さらに、保守運用も不要となり、管理者はデータ活用などの業務に集中できます。

また、Daasは利用数に応じた料金支払いの形態のため、人件費、工数、ハードウェアコスト、ソフトウェアコストの削減ができるでしょう。

これまで収集・分析できなかったデータを活用できる

DaaSを利用することで、ユーザーのデータ活用が促進されます。加えて、これまで収集・分析できなかったデータの活用も可能となります。

より広いデータを分析することで、これまでにない視点や切り口の発見につながります。結果、データ分析結果を「売上・利益創出」「コスト削減」「安全性や信頼性の向上」などに活かす事が可能となります。

安定稼働を実現できる

クラウド上で安定稼働するDaaSを利用することは、各組織のデータ基盤の安定稼働にも貢献します。

DaaS事業者の多くは、クラウド上のサービス安定稼働に実績があります。このため、大多数のユーザー企業は、「自社で頑張ってサービスを構築運用するよりも、すでに実績があるDaaSを利用するほうが、安定的にサービス利用できる」と判断します。

まとめ

今回は、DaaSの定義ならびに実際に提供されているDaaSのパターンを解説しました。

DaaSといっても、１つの機能やサービスを意味するわけではありません。様々な機能やサービスの総称であり、活用するには知見が必要です。

弊社3shakeは、データ統合基盤の戦略策定から運用までを総合的に支援しています（DaaSの活用についても含みます）。データの活用ならびにデータ統合、データ基盤の構築を考えている企業様は、ぜひ3shakeまでご相談ください。

また、ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post DaaS（Data as a Service）について理解する first appeared on Reckoner.

しかし、オンプレミスからクラウドへの移行を経験したことがない企業様も多いのではないでしょうか。本記事では、主にオンプレミスからクラウドへの移行に注目し、移行手順や戦略について解説します。

目次

• データ移行とは？
• オンプレミスからクラウドへデータ移行する3つのメリット
  • 運用管理の工数の削減
  • スケーラビリティ
  • 費用の削減
• データ移行の手順
  • 【事前調査】データソースや実機の精査
  • 【データ移行の準備】データ移行の計画立て
  • 【テスト移行の実施】
  • 【データ移行の実施】
• データ移行は弊社「3shake」にお任せください

データ移行とは？

データ移行とは、システムの刷新やデータベースの移行に伴い、格納しているデータ全てを移行することです。データ移行を行う状況としては、物理サーバの劣化やメモリ不足による移行、オンプレミスからクラウドへの移行、データ活用に際しての移行など様々です。

特に、最近ではビジネスを取り巻くアプリケーションのクラウド化により、多くの企業でオンプレミス環境からクラウド環境へのデータ移行が増えており、その需要の高さが伺えます。

次項からは特に需要の高い、オンプレミスからクラウドへのデータ移行について解説するのでご参考ください。

オンプレミスからクラウドへデータ移行する3つのメリット

オンプレミスからクラウドへデータ移行すると、以下3つのメリットを得られます。

• 運用管理の工数の削減
• スケーラビリティ
• 固定費用の削減

それぞれのメリットを解説しましょう。

運用管理の工数の削減

クラウドの活用は、自社の運用管理の工数を削減できます。

オンプレミスの場合、サーバーの管理をするのは自社の担当者です。サーバーの管理とは、OSのアップデート、ソフトウェアのアップデート、システムのアップデートに伴う各種ミドルウェアのバージョンアップなどさまざまです。これらのバージョンアップ対応は、業務への影響を考えながら進めければならないため、担当者に大きな負担がかかるでしょう。

一方でクラウド上でデータ管理を行う場合、データ管理を行うSaaS（Software as a Service）利用であれば、サーバーの管理の一切が不要となります。

スケーラビリティ

オンプレミスの場合は、トランザクションが増加した際に、スケーラビリティ増強に物理的なハードウェアを追加する必要があります。クラウドの場合は、管理コンソール上から簡単にリソース追加が行えるという点がメリットとなります。また、利用するクラウド基盤やプランによっては、リソースが不足した際に、自動的に追加が行われる機能も提供されています。下記の記事でも、スケーラビリティのメリットを解説しているので是非ご覧ください。

• 参考記事:クラウドETLを利用すべき5つの理由と導入事例の紹介

費用の削減

オンプレミスの場合、サーバーの調達費用や環境構築を自社で実施しなければならないため、購入費用や作業コストが発生します。

しかし、クラウドはインターネット上のリソースを活用して構築できるため、ハードウェアの調達費用や構築のコストを削減できるでしょう。また、クラウドは利用料金に応じて料金が決まる従量課金制を採用しているケースが多いため、必要以上に費用をかけずに利用でき

る点でも費用の削減に繋がります。

注意しなければいけないのは、クラウド移行によりコストが増加するケースがある点です。どのクラウドベンダーの、どのサービスプランを利用するかを十分に考慮しなければなりません。

例えば、AWS, Azure, Google Cloudの3大クラウドでは、いずれも「非常に高頻度かつ多数のアクセスが発生するデータ」「年に一度以下しか利用されないデータ（アーカイブ）」「その中間」といった具合で、複数の料金プランがあり、料金も10倍以上異なります。これらを組み合わせて、コストの削減を考慮するのがよいでしょう。

データ移行の手順

ここからは、オンプレミスからクラウドへのデータ移行手順を解説します。データ移行の手順は、以下の通りです。

• 事前調査
• データ移行の準備
• テスト移行の実施
• データ移行の実施

それぞれの手順を解説しましょう。

【事前調査】データソースや実機の精査

事前調査では、以下の作業が必要です。

• ゴール設定
• データソースの調査
• 移行対象の選定
• 実機調査

ゴール設定は、データ移行の目的ならびに優先順位の設定が重要となります。例えば、「高頻度にアクセスが発生するデータのレスポンス改善」が目的なのか、「アーカイブデータのコスト削減」が目的なのかでは、アプローチが全く異なります。

次に、データソースの調査とは、クラウドへの移行が必要となるシステムやデータ対象の明確化です。移行期間、コスト、社内リソースなどを考慮すると、「全てをクラウドにデータ移行することは最善」とはならないケースもあります。その場合、どの部分は移行し、どの部分は移行しない（または次の移行フェーズまで待つ）などの判断が必要です。

その後は、洗い出したデータソースをもとに移行対象を選定します。移行対象の選定時は、システムの一部か全部なのか、システム同士の関係性が強いときにはどのような手順で移行するのか、などを考慮しましょう。

例えば、オンプレミスのMicrosoft SQL Serverがある場合、「クラウド上でSQL Serverを稼働させる」のが最も容易な移行方法です。しかし、長期的なコストやパフォーマンスを考えると、例えば「Amazon Auroraに移行させることが、コストとパフォーマンスの両面で最適」といった判断もあるはずです。最終的には、プロジェクトのスケジュールや工数、コストなどから総合的な判断が必要です。

最後は、移行対象のシステムやデータの状態を確認するために、実機での調査をおこないます。実機調査では、移行対象となるシステムの調査を行います。ここでは、対象のシステムやデータの状態を確認し、本当に移行が問題なく実施できるかの最終判断を行います。

【データ移行の準備】データ移行の計画立て

データ移行は、事前に計画を立てておくことが大切です。計画を立てることで、データ移行に必要なタスクを洗い出せるため、当日に失敗するリスクを減らせます。

まずは、クラウドへの移行手段を決めましょう。オンプレミスからクラウドへの移行時は、社内LANからインターネット環境への接続が発生するため、社内のネットワーク環境を事前に確認しておく必要があります。例えば、プロキシサーバを設置している場合はクラウド側でプロキシサーバからの通信を許可したり、データ移行用に新たな接続口を用意したりなどです。また、データ移行戦略は「ビッグバン」と「トリクルダウン」の考え方が活用されます。

ビッグバンとは、事前に関係するシステム等を全て停止し、決められた期間内でデータ移行を完了させることです。データ移行を一気に実行するため、完了するまでの期間は短いでしょう。しかし、失敗時には全システムに影響するため、できる限り綿密な計画を立てなければなりません。

トリクルダウンとは、データ移行を段階的に実施する手法です。古いシステムと新しいシステムを並行稼働しながら進めるため、ビジネスの停止が必要ありません。しかし、複雑な設計が求められるため、専門的なスキルが求められます。

また、データの変換が必要となった場合、ETLツールを活用してデータを一元的な変換を行う場合もあります。ETLツールについては、下記の記事で解説しているのでご参考ください。

• 参考記事:ETLツールとは？成功事例や選び方のポイント、メリットについて解説！

続いて、データ移行計画を作成します。規模にもよりますが、大規模なデータ移行は一大プロジェクトとなります。コスト、スケジュール、手順、移行方法、役割分担、バックアップ、移行ツール、データ変換、既存環境への影響、ダウンタイムなど、あらゆる角度で計画を行います。最も避けなければならないのは「既存環境でダウンタイムが生じ、ビジネスに影響が発生した」「データが消失し復元できない」の2点です。

最後は、データガバナンスを設置します。データガバナンスとは、企業内のデータ管理規則のことです。データガバナンスの重要性は、以下の記事で解説しているのでご覧ください。

• 参考記事:データガバナンスをどう守る？Snowflake編

【テスト移行の実施】

本番環境と全く同じテスト用の環境を準備し、移行テストを実施します。テストの実施により、本番移行前の問題発見ならびに回避策の立案に役立ちます。

【データ移行の実施】

最後は、いよいよ本番環境へのデータ移行です。

データ移行の当日は、以下の点に注意しましょう。

• 連絡体制を明確にする
• 切り戻しが可能な状態にしておく
• リソースの確保

本番当日は、関係者間の連絡体制を構築しておく必要があります。もし、当日に何らかのトラブルが発生したら、影響を受ける担当者に素早く連絡しなければなりません。トラブルによっては、部内へ周知する必要性も出てくるため、できる限り素早い対応が求められます。

また、トラブルの復旧に時間がかかりそうなときは、前の状態に切り戻す判断も必要です。切り戻すタイミングが遅くなってしまうと、翌日以降の業務に影響が出てしまうため、切り戻しの手順を事前に確認し、どのタイミングで実施するかの基準も定めておきましょう。

移行本番は、予想していないトラブルが発生し、予定よりも大幅に工数がかかってしまうケースも多く見られます。こうしたトラブルに対応するためにも、人員の確保をしておくとよいでしょう。

データ移行は弊社「3shake」にお任せください

今回は、オンプレミスからクラウドへのデータ移行の手順や戦略を解説しました。

オンプレミスは、クラウドと比べて運用コストが発生し、柔軟なスペック変更もできないため、できる限りクラウドへの移行が推奨されます。

しかし、オンプレミスからクラウドへのデータ移行は、手順の策定や関係者への周知など、失敗なく終えるためにはさまざまな作業が必要となるでしょう。

弊社3shakeは、データ統合基盤の戦略策定から運用までを総合的に支援しています。もちろん、オンプレミスからクラウドへのデータ移行も支援しているため、データ基盤の構築を考えている企業様は、ぜひ3shakeまでご相談ください。

また、ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post データ移行の戦略とベストプラクティス first appeared on Reckoner.

しかし、データ活用が重要とわかっていてもどのように活用すればよいのか、はたまたどのような効果が得られるのか明確に理解できていない方も多いのではないでしょうか。

そこで本記事では、経営の課題を解決するためのデータ活用について解説していきます。

目次

• データ活用とは
  • データ分析との違い
  • データ活用の目的
• データ活用が経営課題を解決するための4つの視点
  • 勘に頼った属人的なマーケティングの撤廃
  • 希望的観測で作られる数値予測の改善
  • 不採算案件の早期発見
  • 社内メンバーの労働環境の整備
• データ活用を行うための3つのポイント
  • 活用可能なデータソースの選定
  • データ分析のリソースの確保
  • データ活用環境の整備
    • データドリブンな組織の形成
    • データ活用基盤の構築
• データ活用で経営課題を見える化

データ活用とは

データ活用とは、企業内で保持しているさまざまなデータを活用し、ビジネス上の課題を解決していくことです。では、似たような言葉であるデータ分析とはどのような違いがあるのでしょうか。

ここでは、データ活用とデータ分析の違いや目的を解説します。

データ分析との違い

データ活用は、さまざまなデータを組み合わせて算出された分析の結果をベースに、経営上の課題の解決やサービスの成長に役立てていくのが目的です。

一方で、データ分析はデータ自体の加工や集約、可視化することで特徴やパターンを導き出すことを目的とします。つまり、データ分析を実施した先にデータ活用が存在するという事になります。そのため、データ分析はデータ活用を見据えて行なう事で、より良い分析が可能になると言えるでしょう。

• 参考：【データ分析の必要性】ビッグデータがもたらす3つの価値 

データ活用の目的

データ活用には、主に以下の目的があります。

• 業務効率化
• 経営判断や意思決定の判断材料としての活用

現場では、日々業務をこなしていく中でさまざまな課題を感じているでしょう。データ活用することで、今ある課題に対して、どのような改善をすべきかが見えてきます。さらに、企業にとって重要な経営判断や意思決定においても、データ活用が効果的です。具体的な内容については、次の章で解説します。

データ活用が経営課題を解決するための4つの視点

データ活用は、数多くの課題解決に貢献します。今回はその中でも、4つの課題について解説します。

• 勘に頼った属人的なマーケティングの撤廃
• 希望的観測で作られる数値予測の改善
• 不採算案件の早期発見
• 社内メンバーの労働環境の整備

勘に頼った属人的なマーケティングの撤廃

データ活用により、経験や勘に頼った属人的なマーケティングを撤廃できます。例えば担当者が、「過去にうまくいったと言われている施策なので、同じやり方でやってみる」といっているが、本当にうまくいったかどうかの真剣な検証が行われていない場合などです。

施策がうまくいったかどうかは、「リードを何件獲得しました」「商談が何件できました」ではなく、「投下した金額と、成果が見合っているかどうか」を中期的、長期的に確認しなければなりません。いわゆる「マーケティングROI」を正しく算出する必要があります。

これを怠ると、一見うまく行っている施策であっても、「リードの量は多いが、質が低すぎて、売上に全く貢献していない」といった施策を繰り返し行ってしまうことになります。

これを避けるために、ETLを利用してマーケティング関連のデータを定期的に算出し、施策がうまくいっているかどうかを、感覚ではなくデータとしてROIを算出、把握することで、本当に意味で効果的な施策の実施が行えるようになります。

希望的観測で作られる数値予測の改善

データ活用は、新製品の売上予測などを算出する際にも効果的です。

新製品の担当者は、自分が心を込めて育ててきた企画を通すため、自分に有利な条件で試算を行いがちです。一見中立的に見えるデータであっても、そうではない場合があります。

そして、会社としては、新製品開発担当者の熱意は認めつつも、赤字を生んでしまう企画を通してはいけないので、厳格に審査する必要があります。

このため、新製品の提案を行う際には、担当者が持ってきたデータが本当に間違いがないか、意図的に改ざんしていないかを判断する必要があります。いわば、「データの裏取り」です。

もし、会社として「提案するデータの根拠となる主要な指標」をETLで自動取得・管理し、定期的に更新を行っていれば、正しいデータに基づいた議論が可能となります。

不採算案件の早期発見

不採算案件には、「受注前から予測できた不採算案件」と「受注後に不採算となることが判明した案件」があります。データ活用は、この両方の発見に役立ちます。

まず、「受注前から予測できた不採算案件」です。例えば、営業が受注を急ぐあまり、採算性について甘く判断して通そうとするケースが想定されます。

このようなケースの場合、過去の案件データベースを作成しておき、ETLを用いてデータを整理し検索可能な状態にすることで、提出された工数見積が、過去の実績と比べて本当に適正なのか、不採算とならないかを判別できます。

また、「受注後に不採算となることが判明した案件」についても同様です。進捗が遅れている、予定より工数がかかっている、などのネガティブな兆候が見えてきた段階で、本当に不採算とならないか、もし不採算になりそうであれば、どうすれば避けられるかを、過去の案件データベースを踏まえて議論できます。

また、プロジェクト管理ツールならびに過去の案件管理データベースを機械学習させることで、「危ない兆候がでてきたら、事前に通知を送る」ような活用方法も可能です。

社内メンバーの労働環境の整備

人事データの活用は、社内メンバーの労働環境の整備にも繋がります。

例えば、過去の休職者や退職者などの情報と、問題が発生する前の勤務時間などのデータを学習させることで、「このような勤務が続くと離職率が上がる」「このような場合に休職者が多く発生している」いった情報がデータとして把握できます。

従業員が入力する勤怠データを、ETLで整理・加工した後で、機械学習を行うことで、「こうした場合には、社員の残業時間を半ば強制的に減らす」「休職者を多く発生させている管理職は、人事トレーニングを受講させる」といった対応をより精緻に行えるようになります。

データ活用を行うための3つのポイント

データ活用を行うためには、以下3つのポイントがあります。

• 活用可能なデータソースの選定
• データ分析のリソースの確保
• データ活用環境の整備

活用可能なデータソースの選定

まずは、企業で活用していきたいデータソースの選定をします。

データソースの選定にあたり、データ連携の重要性についても知っておかなければなりません。データ連携は、システム間におけるデータの受け渡しを実施するのに加えて、特定のデータベースへ各種データを集約する役割も持ちます。データ連携は分析に必要なデータを集約していくため、最終的なデータ活用時においても重要性が高いです。

そのため、データ連携先となるデータソースの算出時には、経営上の課題を解消するために必要となるデータを算出するのが良いでしょう。

データ分析のリソースの確保

続いて、データ分析で必要となるリソースを確保します。データ分析は機械学習を取り入れて実施していくため、機械学習を実現できる専門的な人材が必要です。具体的には、データ分析のアルゴリズムを構築し、その後収集されたデータを学習していきます。その中で、経営上の課題を解決するための特徴やパターンを導いていくのです。

もし、企業内に専門的な人材が不在の場合には、外部リソースやツールの活用も検討すると良いでしょう。

データ活用環境の整備

最後は、分析した結果を活用できる環境整備が重要です。データ活用の環境は「人」と「インフラ」の二つが揃ってはじめて成り立ちます。

データドリブンな組織の形成

データドリブンとは、データに基づいて経営上の判断を下していく考え方です。データドリブンな組織の形成は、データ活用環境の整備において人の役割を持つ部分です。

例えば、今後のマーケティングにおける判断をするとしましょう。データドリブンな組織では、今までの売上状況や顧客の購買活動などから特徴を見つけ出し、その結果を元にアプローチを検討していくのです。これまでの経験や勘ではなく、データを元に判断できる組織を形成しておくことが重要になります。

データ活用基盤の構築

データ活用基盤とは、データの収集から分析するまでのデータフローの流れを構築することです。データ活用基盤で重要になるのは、ETLツールの導入でしょう。

ETLツールは、必要となるデータソースへのアクセス、データの加工、DWHへの格納といった一連の流れを容易に実現できます。データを一元管理した後の分析にはBIツールなどを使用するのがおすすめです。BIツールは、データの可視化を実現できるため、ユーザー自身がデータ分析をしながら今後の施策検討をしていけます。

データ活用で経営課題を見える化

今回は、経営の課題を解決するためのデータ活用について解説しました。

データ活用は、今までの経験や勘を頼りにしていた経営判断からデータに基づく判断ができるようになるため、経営全体の質が向上し今後の施策もより効果的なものを打ち出していけます。こうしたデータ活用をするためには、活用するための組織作りや基盤作りが必要です。

しかし、データ活用をするための基盤作りをどのように進めていくべきかわからない企業様も多いでしょう。

弊社3shakeは、データ統合基盤の戦略策定から運用までを総合的に支援しています。インフラやセキュリティに強い設計も提供できるため、安定稼働も実現できます。これからデータ基盤の構築を考えている企業様は、ぜひ3shakeまでご相談ください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post データ活用で経営課題を解決するための4つの視点 first appeared on Reckoner.

RPAというと、「PC作業を自動化して効率化に繋げる」というイメージがあるかもしれません。しかし、DBやexcelといったデータソースを活用することで、一歩踏み込んだ業務効率化および自動化が実現します。

本記事では、「RPA」とデータ活用基盤の構築に不可欠な「ETL」を用いた業務効率向上および自動化の施策を紹介いたします。

目次

• RPAとETLとは何か
  • RPAとは
  • ETLとは
• RPAとETLを用いた業務効率を考える
  • 請求データの照合（売掛金管理）自動化
  • 定例会議用のレポート作成自動化
• 「データ活用基盤」を中心に自動化や効率化を考える

RPAとETLとは何か

そもそもRPAとETLとは、どのようなものでしょうか？

ここでは、それぞれの概要を解説しましょう。

RPAとは

RPAとは「Robotic Process Automation」の略で、人間の作業をプログラムによって自動化する技術のことです。RPAでは、AIや機械学習の技術を活用した自動化も実現しています。

例えば、あるシステムから出力されるCSVファイルを別のシステムに取り込むといった処理を毎朝実施しているとします。このケースでは、RPAに以下の行動を学習させます。

• システムへアクセスする
• システムからCSVを出力する
• CSVを別のシステムにインポートする

これらの行動を学習させることで、RPAが毎朝定期的に実施してくれます。つまり、RPAは決められたプロセスを実行するのに優れており、日次処理や週次処理などの定期的な作業への活用がおすすめです。

ETLとは

ETLとは「Extract （抽出）、Transform （変換）、Load （書き出し）」の頭文字を取った言葉で、データの効果的な処理における必要な機能を持っています。

Extractでは、データの収集先となるデータソースにアクセスし必要なデータを取得します。続いて、取得したデータを決められたフォーマットに整えていく必要があり、Transformがこの役割を果たしています。最後に、Loadの機能でDWHなどの大規模データベースへ格納します。

ETLを導入することで、社内または社外のデータと接続・統合し、一元的な処理が行なえます。現在は、多くのデータに対して効率的に接続できるETLツールを利用し、導入により、データソースへのアクセスや集約を効率的に実現できるのです。

RPAとETLを用いた業務効率を考える

PC作業を効率化するRPAとデータ整備を行うETLでは、一見遠い存在のように見えるかもしれません。しかし、この2つのツールをうまく活用することで業務効率を最大化させることが可能です。

ここでは、具体的な業務効率化の例を2つご紹介します。

請求データの照合（売掛金管理）自動化

1つ目は、RPAとETLを組み合わせて、膨大な手動処理の自動化を実現した例です。ここでは、取引先に送付した請求書が、請求書記載の内容、条件で正しく入金されているかを確認する業務（売掛金管理）があります。

このケースでは、大きく以下の作業フローが想定されます。

1. 経理システムのデータを、自動でダウンロードする（RPAが担当）
2. オンラインバンキングの入金履歴をダウンロードする（RPAが担当）
3. ダウンロードした２つのデータを、照合可能な状態に加工する（ETLが担当）
4. ２つのデータを照合する（ETLが担当）
5. 結果をメール添付して関係者に送付する（RPAが担当）

売掛金情報と、入金情報を付け合わせて、取引先から予定通り入金されているかを自動で確認することで、手動業務の削減による正確性の向上ならびに残業などの人件費削減が見込めます。

定例会議用のレポート作成自動化

2つ目は、会議などで利用するレポートや営業資料の自動化です。

例えば、マーケティングの会議を想定してみましょう。必要なデータソースは、「Salesforce」「マーケティングオートメーションツール」「Google Analytics」「Google Search Console」「ExcelやGoogleスプレッドシート」など多岐にわたります。

このケースでは、以下の作業フローが想定されます。

• 各ツールのデータを自動ダウンロード（RPAが担当）
• ダウンロードしたデータを、整形ならびに自動計算（ETLが担当）
• 作成したファイルを、指定フォルダにアップロード（ETLが担当）
• 会議開始前に関係者にメール送付（RPAが担当）

特に工数がかかるデータの整形と計算ロジックの適用が自動で実施されるだけでなく、ETLを用いてヒューマンエラーが激減するため、効率化、迅速化、人件費の削減が見込めます。

そして、レポート自動化が効果的なのは、横展開のニーズが高いことです。例えば、マーケティング部門以外でも、営業部門、サポート部門、企画部門など、それぞれの業務でレポートを作成する業務があります。

また、同じ部門内でも「レポートが１つだけあればよい」わけではなく、部門内のさらに小さな単位でレポートが必要になります。例えば、「東京営業部」「大阪営業第一課」といった部や課単位であったり、「A製品販売レポート」「B製品販売レポート」といった製品単位などの製品単位などです。

こうした組織内における「多種多様なレポート作成ニーズ」の多くを吸収できる点が、レポート作成自動化のメリットといえます。

「データ活用基盤」を中心に自動化や効率化を考える

これまでRPAとETLを用いた業務効率化、自動化について解説してきましたが、データビジネスの基本は「データ活用基盤の構築」です。データ活用基盤が整っていないと、すぐにデータ活用ができないためです。

しかし、基盤の構築はデータがサイロ化しやすく、適切な形で一元管理するのが難しいためなかなか進められない企業様が多いでしょう。そこで、データ活用を考えている企業様は構築のプロにお任せするのがおすすめです。

弊社3shakeは、データ統合基盤の戦略策定から運用までを総合的に支援しています。インフラやセキュリティに強い設計も提供できるため、安定稼働も実現できます。これからデータ基盤の構築を考えている企業様は、ぜひ3shakeまでご相談ください。
ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post RPAとETLを用いた業務効率向上の施策 first appeared on Reckoner.

しかし、こうしたマニュアル作業にはリスクがあります。

今回は、Excelで実現するデータ統合および活用のリスクを解説し、その代わりとなるETLツールのメリットも紹介します。

目次

• 大量データをExcelで編集するリスク
  • 7つのリスク
• ETLツールを活用したデータ管理
  • 大量データの扱い
  • 自動化により人的ミスを削減
  • 複雑なデータ処理も可能
  • データ連携先が多数
  • データ処理のブラックボックス化を回避
• まとめ

大量データをExcelで編集するリスク

多くの組織では、全てのPCにExcelをインストールして日々の業務に利用しています。このため、抽出したデータをExcel上で操作したり、操作したデータを共有するのに追加の費用がかかりません。また、既に日々の業務でExcelを利用しているため、データ抽出後にExcel上で操作を行う場合、Excel自体の学習コストは非常に少なく済みます。

このため、多くの組織ではExcel形式やCSV形式でデータを抽出し、所定の形式にフォーマットを整えるなど、多様な形で利用をしています。

しかし、Excel利用に関しては以下に記載するリスクがあります。

7つのリスク

1. 膨大なデータを扱えない
2. 複雑なデータ処理ができない
3. データの整合性や質の担保が困難
4. 他SaaSとのデータ連携ができない
5. バージョン管理が難しい
6. 処理を自動化しようとすると、マクロ作成が必要
7. 手作業による作業ミス

Excelは、表計算ソフトとしての機能がメインであるため、膨大なデータを処理するのに向いていません。Excelで保持できるデータは1シートあたり1,048,576行までとなっています。複数のシート生成によってより多くのデータ保持が可能ですが、その分処理が重くなってしまうのです。

また、データ処理の一連の流れとなるトランザクション処理をすることにも向いていません。具体的には、関数を使った複数の処理を実施しようとしたときに、途中で処理が重くなってクラッシュしてしまい、最悪の場合にはデータの欠損につながります。

他にも、データの改変や削除が簡単に実現できてしまいます。その結果、データの整合性が取れなくなり、質の低下につながってしまうでしょう。

最近活用が進んでいるSaaSシステムとの連携についても、Excelで作成したデータを連携するためには画面操作などによってCSVのインポートをしなければなりません。手動での作業となるため、Excelからさまざまなシステムへインポート処理をしていると、工数が大きくかかってしまいます。

バージョン管理が難しい課題もあります。Excelは、バージョンごとにファイルを保持する運用が多いため、バージョンの数だけファイルが生成されてしまうのです。その結果、最新のファイルを見極められずに、古いファイルのまま使ってしまうケースもあります。

また、Excelにはマクロの機能があり、処理の自動化に向いているものの、管理工数がかかるためブラックボックス化しやすいです。マクロを使わずに実施した場合には、手作業によるミスも発生しやすい問題もあります。

大量データをExcelで操作することによるリスクを回避するためには、データソースからデータを抽出し、必要な形に変換した後に、目的に応じた形でデータをロードする「ETLツール」が必要です。

ETLツールを活用したデータ管理

ETLツールを利用することで以下のメリットがあります。

大量データの扱い

ETLツールは、さまざまなデータソースから収集したデータを加工し、大規模データベースとなるDWH（データウェアハウス）へ格納するため、大量データの扱いに優れています。さらに、DWHは複数の処理を同時に実行できるため、一般的なデータベースよりも高速なデータ処理が可能です。Excelの上限を大幅に超えるデータ操作も可能です。

自動化により人的ミスを削減

ETLツールは、ワークフローの構築やスケジュール実行が可能なため、一度構築すれば全ての処理を自動化できます。自動化により、ヒューマンエラーの防止にもなるため企業のガバナンス強化につながります。

複雑なデータ処理も可能

ETLツールでは、以下のような複雑なデータ処理も可能です。

• データの暗号化
• 文字列変換
• カラム変換
• API連携
• フォーマット変換
• 結合グループ化

この中でも、API連携はExcelで実現できない機能となっています。API連携とは、システム間をインターネット通信でつなげる機能のことです。API連携の活用により、システム間の連携をAPIで実現できるため、CSVによる取込などが不要になります。

データ連携先が多数

ETLツールは、ファイルやSaaSなどのさまざまなデータソースへ連携が可能です。具体的には、以下のようなものがあげられます。

• Googleスプレッドシート
• Excel
• CSV
• GoogleBigQuery
• MySQL
• ORACLE
• Kintone
• Salesforce
• Slack

幅広い連携先が提供されているため、あらゆるデータソースの統合を実現できるでしょう。

データ処理のブラックボックス化を回避

ETLツールは、GUI上で全ての処理のワークフローを把握できるため、ブラックボックス化を回避できます。バッチ操作によるデータ連携を実施していると、どのようにデータ連携が実施できているのかがブラックボックス化されやすいです。なぜなら、どの端末でバッチ処理が実施されているのかが一元管理できず、システムの管理者しか把握できないためです。

ETLツールであれば、ツール内でデータ連携に関する処理を一元管理できるため、ブラックボックス化の防止につながります。

まとめ

今回は、Excelでのデータ統合および活用のメリットとデメリット、その代わりとなるETLツールのメリットを解説しました。

Excelでのデータ活用は気軽に導入しやすい反面、複雑な処理やシステム間の連携に向いていません。ETLツールであれば、Excelが抱えているデメリットを解消するのに加えて、管理面にもメリットが大きいため、データ活用をするのであれば是非導入したいところです。

当社のETLツール「Reckoner（レコナー）」は、クラウド型で利用ができる製品です。サーバーの管理は不要なため、サービスの利用だけに集中できます。さらに、豊富な連携先や直感的な操作が魅力です。クラウド型のETLツールで効率的な運用を考えている企業様は、ぜひReckonerの導入を検討してみてください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post Excelで大量データを操作する7つのリスクと解決策を理解する first appeared on Reckoner.

しかし、ただ単にデータ移行をするだけでは、統制の取れたデータ基盤を構築できません。そこで重要になるのが、データガバナンスに対する理解です。

本記事では、データガバナンスの概要とクラウド移行時に注意すべきポイントを解説します。

目次

• データガバナンスとは
  • データガバナンスの定義
  • データガバナンスに含まないもの
• データガバナンスのメリット
  • 1.組織内でデータの共通理解ができる
  • 2.データの質の向上
  • 3.データ管理体制の構築および漏えいリスクの削減
• クラウド移行時に注意すべきデータガバナンス
  • 1.データの安全性
  • 2.規制の遵守
  • 3.可視性、制御性の確保
• まとめ

データガバナンスとは

データガバナンスとはどのようなものでしょうか。以下では、データガバナンスについて解説します。

データガバナンスの定義

データガバナンスとは、組織内で達成したい目標に対して、データを効率的に利用するための役割、ポリシー、プロセス、評価基準などを定義したものです。企業の統制を図るガバナンスのデータ版を意味しています。企業では、業務で使用しているさまざまなデータを取り扱っています。その中で、データに関する決めごとをしないと適切に利用ができません。

例えば、重要度の高いデータについてはどのように保管するのか、誰がアクセスできるのかなどを定義しておくことです。もし、データ流出などが発生したとしても、重要度の高いデータについてはデータガバナンスに基づいた対策をしていたと説明もできます。

また、近年活用が進んでいるクラウドの利用時にもデータガバナンスを考えなければなりません。なぜなら、サービスの利用だけに集中できるSaaSパッケージの導入が進んでいくことで、システムごとにデータを保持する環境になり、整合性の取れないデータの拡散が起きてしまう危険性があるためです。クラウドの利用時には、オンプレミスと同様にデータガバナンス計画を定める必要があります。

データガバナンスに含まないもの

データガバナンスを考えるときには、「データ管理」や「マスターデータ管理」などの定義と混同させないのが大切です。

データ管理とは、企業内で取り扱うデータのライフサイクルを管理することです。例えば、新入社員が入社したタイミングでメールアドレスを発行し、退職したタイミングで破棄するといった流れを意味します。

一方でマスターデータ管理とは、業務で使われる重要なデータを統合的に管理し、品質を維持していくことです。例えば、従業員の氏名やメールアドレスなどの情報がマスタデータとして扱われます。

データガバナンスは、こうしたデータ管理やマスターデータ管理よりも更に抽象的な概念となります。データをどのように扱うのか、機密度に応じた情報資産のランク付けをするなど、組織内でのポリシーとなるのがデータガバナンスだといえるでしょう。

データガバナンスのメリット

データガバナンスには、3つのメリットがあります。

1.組織内でデータの共通理解ができる

データガバナンスは、組織全体のデータに対する考え方を定めるものであるため、組織内でデータの共通理解ができます。

組織内では、部門ごとに取り扱う情報が異なるため、共通の認識がないと部門ごとに扱い方が異なってしまいます。その結果、統一された基準がないために、データ起因となるさまざまなインシデントにつながり、誤った判断をするきっかけにもなるかもしれません。

そのため、データガバナンスの考え方を組織内で共有することにより、部門間での情報のやり取りにおける認識の齟齬がなくなり、より正しい判断をできる基盤作りにつながるでしょう。

2.データの質の向上

データガバナンスでは、組織内で扱うさまざまなデータの統制を整えるため、データの品質が向上します。組織内では、データごとにフォーマットや保管方法が異なっていることが多いため、散乱している状況となっています。そのため、一つのデータベースへの統合やデータ活用が難しくなり、データドリブンな組織作りもできません。

データガバナンスによってデータの取り扱いが定まることで、情報の粒度が一定に保たれるため、全体的なデータの品質も向上するでしょう。

3.データ管理体制の構築および漏えいリスクの削減

データの中には、顧客の個人情報を取り扱った機密度の高い情報が含まれています。顧客情報は、企業の中でも最も機密度の高い個人情報となるため、慎重な管理が求められます。しかし、データガバナンスが定められていないと、情報の重要度に応じた管理体制を構築できません。もし、データ管理体制が構築されていないことで、外部へ個人情報が流出してしまうと、社会的な信頼も落ちてしまうでしょう。

そのため、データガバナンスによって管理体制の強化や漏えいリスクの削減につなげるのが重要です。

クラウド移行時に注意すべきデータガバナンス

クラウドへのデータ移行時には、以下のポイントに注意が必要です。

1.データの安全性

クラウドでデータを保存するときには、データの安全性について考える必要があります。オンプレミスの場合には、データに関する管理責任を自社で持たなければなりません。一方で、クラウドでは運営会社がデータの保護責任を持ちます。そのため、どのような管理体制を取っているのかは事前に確認が必要です。

例えば、クラウドリソースには特定のIPからの通信のみを許可しているのか、データリソースへのアクセスは特権管理者以外できないようになっているのかなど、技術的な観点での確認も重要です。

2.規制の遵守

クラウドサービスを利用するときには、各地域、各業界ごとの規制に対応する必要があります。以下は一例となります。

• PCI DSS (カード決済対応)
• GDPR, CCPA, [日本]個人情報保護法 (個人情報対応)
• HIPAA (健康情報対応)

特にEU圏で活動する組織においては「GDPR」対応が必須です。違反時の罰金の最高額が「最大2000万ユーロ、または全世界年間売上高の4％のどちらか高い方」と、極めて高額になる可能性があるため、注意が必要です。

3.可視性、制御性の確保

クラウドサービスの選定時には、サービスとしての質が高いかどうかも重要な判断基準です。質の高いサービスは、システム内で保持しているデータが可視化されており、自由に取り扱いが可能かつ制御可能な状態となっているケースが多くみられます。国内外の組織が、クラウド事業者を評価するフレームワークを複数提供しています。

まとめ

今回は、データガバナンスについて解説しました。

データガバナンスとは、データに関する規律を定めたものです。データ活用の重要性が増している現代だからこそ、組織におけるデータガバナンスを定義し、適切なプロセスや管理で運用していく必要があります。

データガバナンスを理解したうえで、強固なデータ基盤を実現したいという企業様はぜひ当社にご連絡ください。当社のETLツール「Reckoner（レコナー）」は、さまざまなデータソースを収集し、加工後に大規模データベースへと格納できるクラウド製品です。プログラミングが不要でETLの機能を実現できるため、専門的な知識がなくても運用が可能です。

クラウド型のETLツールで効率的な運用を考えている企業様は、ぜひReckonerの導入を検討してみてください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post [3分で理解] データガバナンスについて理解する first appeared on Reckoner.

しかし、実際どのようにデータを元に仮説を立てて検証すべきかわからないという企業様も多いのではないでしょうか。

そこで本記事では、データ分析の重要性を解説した後に、仮説の立て方と検証方法について解説します。

目次

• データ分析が注目される背景
  • 機械学習/AI分野の発展
  • DXやデジタル化への対応
• データ分析の仮説の立て方と検証
  • 仮説の立て方
  • データ分析の検証方法について
• データ分析における2つのポイント
  • 成功要因を徹底強化
  • 成功要因以外を徹底的に排除もしくは改善
• まとめ

データ分析が注目される背景

そもそもなぜデータ分析が注目されているのでしょうか？データ分析が注目される背景には、主に以下の3つが考えられます。

• データ量の増加
• 機械学習/AI分野の発展
• DXやデジタル化への対応

データ量の増加

近年、さまざまなシステムやITツールが業務に取り入れられるようになり、企業で扱うデータは増加し続けています。他にも、SNSが普及したことにより、ユーザーの口コミや興味があるジャンルに関するデータが増加し、企業のマーケティングへと活用できる環境に変化しているのです。

こうしたデータ量の増加に伴い、一部の企業では「経験や勘に頼った意思決定」から脱却し、「データに基づく意思決定」（データドリブン）を志向し、意思決定の質を高める動きがあります。

機械学習/AI分野の発展

機械学習やAI分野では、大量のデータを学習することで人間が担っていた部分を機械が代用してくれる基盤を構築できます。データ分析は、大量のデータを学習するときにも利用される技術です。そのため、機械学習やAI分野が発展をし続ける現代において、データ分析の重要度が増しているのです。

例えば、画像判定をするAIがあったとします。画像判定をするためには、正解か不正解のどちらかを判断させる必要があるため、AIには正解となる画像データを学習させます。このとき、データ分析の技術を使って正解となる画像データの要素を解析し、AIへと取り込んでいきます。

DXやデジタル化への対応

DXとは「Digital Transformation（デジタルトランスフォーメーション）」の略で、デジタル技術を活用し、我々の生活や企業のビジネス変革を実現するための取り組みです。一方でデジタル化は、業務の効率化を目的とした取り組みで、デジタル化を実現した先にDXの成功が見えてきます。データ分析は、こうしたDXやデジタル化においても大きな役割を持っています。

例えば、データ分析によってデータの見える化が実現すると、データに基づいた意思決定が推進されます。これにより、勘や経験に基づく属人的な意思決定よりも、意思決定の質の差が生まれにくくなります。

データ分析の仮説の立て方と検証

データ分析における仮説は、ビジネスで抱えている課題との関係があるものを意味します。ビジネス活動を効率的に実施するためには、課題の解消が重要となるため、仮説を立ててデータ分析によって検証するのです。

ここでは、仮説の立て方とデータ分析による検証方法を解説します。

仮説の立て方

データ分析における仮説の立て方には、大きく以下の2種類があります。

• 予測型
• アイデア型

予測型は、ある取り組みを実施したときの結果よりも1歩先を予測し、それを課題として扱うことです。

例えば、製造業の製品販売数をテーマに仮説を立てるとします。製品販売数を今までよりも多くするとしたときに、社内で製造するリソースが不足してしまう可能性があるでしょう。そこで、「社内リソースの拡大や機械導入による人的リソースの削減を進める必要があるのではないか」という仮説が立てられます。このように、予測型は取り組みの先に生まれるであろう課題を予測し、仮説を立てていくのです。

アイデア型は、予測型と比べて目的が曖昧で定量的な設定が難しいときに利用します。

アイデア型では、実施している施策の中でも、拡張することで得られるメリットなどを仮説として扱っていきます。例えば、特定の商品の購入時にポイントを2倍付与したらどうなるのか、付属品と購入すると割引扱いにするとどうなるのかを仮説とするのです。アイデア型は、今ある施策に対する新たなアイデアを仮説として扱う考え方です。

データ分析の検証方法について

データ分析の検証方法には、主に以下2つの方法があります。

• 要因理解のための検証
• 課題解決のための検証

要因理解のための検証とは、突発的に発生した要因に対して、その理由を特定するための検証です。

例えば、ある時期を境にゲーム機やゲームソフトが急激に売上を伸ばしたとしましょう。売上を伸ばした理由としては、「テレワークが広がったから」「自宅にいる時間が増えたから」などの仮説を立てられます。ただし、データ分析による検証を実施した結果、そのほかの要素も売上に関係しているケースも考えられるでしょう。そのため、データ分析によって仮説が正しいのかを判断し、そのほかにも影響している要素があるかを検証するのです。

課題解決のための検証とは、事前に設定した目的に対する課題を発見するための検証です。

例えば、店舗の売上を拡大したいとします。もし、実店舗でのみ販売をしていた場合には、「オンラインショップを導入することで売上が上がるだろう」と仮説を立てられます。他にも「SNSで宣伝をする」「キャンペーンを打ち出す」なども考えられるでしょう。このように、課題解決では目的に対する課題を仮説として扱い、データ分析によって仮説が正しいのかを判断するのです。

データ分析における2つのポイント

データ分析では、以下2つのポイントが重要です。

• 成功要因を徹底強化
• 成功要因以外を徹底的に排除もしくは改善

成功要因を徹底強化

まずは、成功要因を特定し徹底的に強化していくことです。成功要因は、前述した仮説を立てて検証を繰り返していくことで導いていけるでしょう。その後は、成功要因を実現するために予算の拡大やリソースの追加を行っていき、より成果をあげられる環境作りに取り組むのが大切です。

成功要因以外を徹底的に排除もしくは改善

成功要因の徹底強化と並行して、強化対象以外の徹底的な排除や改善も必要となります。なぜなら、成功要因以外の多くは、コストやリソースを投入したにも関わらず成果をあげられていないものとなるためです。成果が期待されないものに投資をしても、無駄になってしまうケースが多いのです。

また、排除に加えて改善していく必要もあります。改善を加えることで、成功要因に良い影響を与える可能性も考えられるでしょう。

まとめ

データ分析は、データ量の増加やデータドリブンな組織を目指すためにも注目が集まっています。また、データ分析を成功させるために重要となるのが仮説を立てて検証することです。仮説と検証を繰り返すことで、目的に対する最適な施策を洗い出せるでしょう。しかし、一からデータ分析に取り組もうと思っても、専門的なスキルを保有している人材がいないと進められないのが現状です。
弊社では、クラウド型のETLツール「Reckoner（レコナー）」を提供しています。Reckonerは、プログラミング不要でデータの収集から分析まで実施できるため、効率的にデータ分析を進めていけます。企業のデータ活用を進めていきたいと考えている方は、ぜひReckonerをご検討ください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post データ分析における「仮説の立て方と検証」について理解する first appeared on Reckoner.

しかし、企業内に複数あるデータソースを一元管理していくためには、どのような点に注意しながら進めていくべきかわからないと悩む企業様も多いでしょう。

そこで今回は、データ統合の目的や複数のデータソースの一元管理をする方法について詳しく解説します。

目次

• データ統合の目的
  • データのサイロ化の改善
  • データ分析の基盤形成
  • データドリブンな組織の形成
• 複数のデータソースを一元管理する方法
  • データソースの選定
  • データ統合の方法を考える
  • データ統合票の作成とデータ量の見積もり
  • マルチデータソースの接続
• 複数のデータソースを統合する際に注意すべき3つのポイント
  • データ統合のゴールをどのように達成するか
  • レガシーシステムのデータの取り扱い
  • 新たなニーズにこたえるデータの取り扱い
• まとめ

データ統合の目的

データ統合には、主に以下3つの目的があります。

• データのサイロ化の改善
• データ分析の基盤形成
• データドリブンな組織の形成

データのサイロ化の改善

データのサイロ化とは、企業内のデータが散在してしまい、データ同士の連携ができていない状況を意味します。例えば、製造における開発本部と製造部がそれぞれで製品のマスタ情報や顧客を保有しており、互いの情報の閲覧や連携ができていない状況です。

データ統合は、散財するデータを一つの場所に集約できるため、こうしたデータのサイロ化を改善できます。サイロ化の改善により、同じ基盤の上にデータが集約されるため、データの活用がしやすくなります。もし、複数の基盤にデータが存在すると、バッチ連携等を使って同じ基盤に集約する作業が必要となり、無駄な工数がかかってしまう恐れがあります。

データ分析の基盤形成

データ統合の実現により、データ分析をするための基盤が作られます。逆にいえば、データ統合されていないと、基盤が整っていない状況といえるでしょう。

例えば、企業で運用している基幹システムがそれぞれ独自のシステムだったとします。それぞれのシステム同士は独立した関係であるため、他のデータを利用するためにはCSVのインポートなどによるデータ連携が必要となるのです。しかも、データが多ければ多いほど連携の処理が必要となるため、管理するのに多くの時間を要します。またデータを加工をして取り込みたい場合や、データ形式をあわせてから取り込むといった作業を含む場合、作業のたびに人的ミスが起こる可能性もあり、あまり望ましい状態でないことは明白でしょう。

データドリブンな組織の形成

データドリブンとは、データに基づいて経営上の判断を下していくことです。データ統合は、データ活用の基盤が整うため、データドリブンな組織形成にもつながります。

データ活用をしない企業では、今までの経験や勘に頼って判断するケースが多いです。しかし、判断する人物のさじ加減によって基準が変わってしまうため、予想されない外部要因などによって大きな失敗につながる恐れがあります。また個人の勘や経験は属人化しやすいという点においても避けるべきです。

データドリブンな組織を目指すことで、顧客活動の把握やWebマーケティング施策の正確性の向上につながり、今まで以上に企業利益を拡大していけるでしょう。

複数のデータソースを一元管理する方法

データ統合をするときには、複数のデータソースを一元的に管理する必要があります。複数のデータソースを一元管理するためには、以下の手順を踏むのが一般的です。

• データソースの選定
• データ統合の方法を考える
• データ統合票の作成とデータ量の見積もり
• マルチデータソースの接続

データソースの選定

まずは、データ統合をすべきデータソースの選定です。データ統合するためには、統合の対象となるデータソースを明確にする必要があります。データソースとしては、salesforce、kintoneなどのCRMや、EC CUBEやShopifyなどのEC、企業が独自開発をした販売系のシステムなどさまざまです。

データ統合の方法を考える

データ統合時には、主に以下の方法が考えられます。

• ETL
• リバースETL
• ELT

ETLはデータソースの抽出後に加工をしていき、最終的にはDWHなどの大規模データベースへ格納する手法です。最近では、GUI上で開発ができるETLツールを多くの企業が提供しています。

• 参考記事: ETLとは何か: 5つのポイントから理解する

リバースETLは、ETLと逆の手順で進められる手法です。具体的には、DWHに格納したデータを各システムへ取り込みます。普段使用しているツールやシステム上でデータを全て管理したい場合に使う手法です。

• 参考記事: データをSaaSで活用する「リバースETL」とは何か？

ELTは、データソースの抽出後にそのままDWHへデータを格納する手法です。格納後に、DWH内でデータの加工をするのが特徴です。ELTはETLと違って加工処理を同一のデータベース内で実施できるため、SQLの知識があれば比較的容易に実施できます。

• 参考記事: 【用語集】ELT（Extract Load Transform）

データ統合票の作成とデータ量の見積もり

データ統合の方法が決まったら、抽出するデータをまとめたデータ統合票の作成とデータ量の見積もりを行います。データ統合票とは、各システムのデータの紐づけ情報、データの加工をどのように行うかを管理する表になります。

データ統合の種類や課金形態にもよりますが、データ量に見合った適切なプランを選択するのが重要です。データ量によっては、DWHの中でも大容量のものを選択する必要があり、逆にそこまで容量が大きくないときには比較的小規模なデータベースでも実現できるでしょう。

見積もりをするときには、事前にデータ統合票でおおよそのデータ量を把握しておくのが効果的です。

マルチデータソースの接続

最後は、それぞれのデータソースに接続し、データ抽出をしていきます。データソースは、システムごとに異なる基盤で運用されていることが多いでしょう。そのため、接続時には、データ統合をするためのコネクタやAPIによる実装が必要となります。

コネクタとは、データ統合を実施するツール側で提供されているもので、システム間の連携を効率的に行えるものです。例えば、ERP製品などを導入している場合には、ETLツールにERPへ接続するためのコネクタが用意されているなどです。

一方でAPIは、システム間を接続するための機能です。例えば、特定のシステムからETLツールへ接続するときに、APIを経由することでデータの送受信が可能となります。

データソースへの接続時には、既存で利用しているシステムや採用するデータ統合手法により、コネクタやAPIのどちらが効率的なのかを判断するのが重要です。

ただし多くの場合、ETLやELTツール側で接続コネクタが用意されているケースが多いため、APIやコネクタを独自で考えて実装するケースが少ないと言えるでしょう。

複数のデータソースを統合する際に注意すべき3つのポイント

複数のデータソースを統合するときには、以下3つのポイントに注意しましょう。

• データ統合のゴールをどのように達成するか
• レガシーシステムのデータの取り扱い
• 新たなニーズにこたえるデータの取り扱い

データ統合のゴールをどのように達成するか

データ統合時には、目的を明確にした上で進めるのが大切です。なぜなら、データ統合の目的によっては、必要となるデータのタイプが異なり、その結果データソースや対象となるシステム、その後の分析手法なども変わるためです。まずは目的を明確にし、達成に向けて必要となるデータ統合の方法を定めていきましょう。

レガシーシステムのデータの取り扱い

レガシーシステムとは、企業で古くから運用され続けているシステムのことです。レガシーシステムは、データ統合の妨げとなってしまいます。

例えば、API経由でデータ連携をするときに、レガシーシステムの場合には提供されていないために、自作で構築が必要となります。また、データ形式がシステム内でだけ利用される形で構築されているケースが多いため、データ統合時に不足している情報が多くあるのです。データ統合時には、レガシーシステムの脱却も合わせて検討する必要性が出てくることもあるでしょう。

新たなニーズにこたえるデータの取り扱い

最近ではデータの種類が多様になってきており、新たなニーズにこたえるための設計が必要になってきています。例えば、機械学習に取り込むための学習用データ、リアルタイムなデータ、そしてデータベースのような形式以外にも動画やIoTデバイスからの取得など、データソースも幅広くなっています。

データ統合時には、こうしたさまざまなデータの種類やデータソースも検討しながら進めていかなければなりません。

まとめ

データ統合をするときには、複数のデータソースを一元管理する必要があります。しかし、企業によって多種多様なデータやデータソースが運用されているため、一元管理するためには専門的なスキルが求められます。

弊社では、データ統合を効率的に実現できるクラウド型ETLツール「Reckoner（レコナー）」を提供しています。Reckonerは、多数のデータベースやアプリケーションとの連携が可能であるため、データソースの一元管理が可能です。さらに、プログラミングが不要でETLを実装できるため、人的コストを抑えながら運用できます。

これからデータ統合を実施しようと考えている企業様は、14日間無料トライアルをご提供しておりますのでぜひご活用ください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post 複数のデータソースを一元管理する際に注意すべき3つのポイント first appeared on Reckoner.

データを運用するチームと開発するチームとが上手く連携するために、どういったことに注意しなければならないのでしょうか。以下では、DataOpsそのものの定義やDataOpsの背景であるアジャイル開発にも触れつつ、DataOpsの実践的なノウハウについて紹介していきたいと思います。

なお、下記記事については以下の書籍を参考元とし執筆を行っております。

(参考元: Getting DataOps Right Andy Palmer, Michael Stonebraker, Nik Bates-Haus, Liam Cleary, Mark Marinelli Published by O’Reilly Media, Inc.”DataOps as a Discipline”)

目次

• DataOpsとはなにか
• DataOpsの7つのプラクティスを理解する
  • アジャイルの適用
  • 顧客チームとの「統合」
  • すべてコードで実装
  • ソフトウェア・エンジニアリングのベストプラクティスの適用
  • 複数の環境を維持
  • ツールチェーンの統合
  • すべてをテストする
• まとめ

DataOpsとはなにか

DataOpsは、膨大な数の企業データソースから膨大な数の企業データ消費者に、本番データを迅速、反復、確実に提供することを可能にする、人・プロセス・ツール・サービスをつなげる方法論です。

DataOpsの必要性は、過去10年間でデータの消費量が劇的に変化したことに起因しています。インターネット・アプリケーションがアプリケーションそのものの使いやすさ、可用性、応答性に対するユーザーの期待を高めたように、Google Knowledge PanelやWikipediaなどは、データの使いやすさ、可用性、新鮮さに対するユーザーの期待を劇的に高めています。

さらに、非常に使いやすいセルフサービスのデータ作成・可視化ツールへのアクセスが増えたことで、公式チャネルが期待に応えられない場合、企業内の多くのユーザーが自分でデータを作成する準備ができ、利用できるようになりました。

これらの変化が相まって、過去にデータを提供するために使用された、コストがかかり、遅延に悩まされ、不透明なオペレーションを継続することは、もはや受け入れられない環境を作り出しているのです。

DevOpsから手がかりを得て、DataOpsはデータの作成とデリバリーを単一のアジャイルなプラクティスにまとめ、特定のビジネス機能を直接サポートすることを目指します。最終的な目標は、刻々と変化する組織の要求に対応する高品質なデータを、コスト効率よくタイムリーに提供することです。

DataOpsの7つのプラクティスを理解する

データの運用チームの役割は、開発チームが製品やサービスのコーディング、構築、テスト、パッケージ化、リリース、設定、配備、監視、管理、フィードバック収集に使用するアプリケーション、サービス、その他のインフラを提供することです。

このように、運用チームは、必然的に他分野を渡る形態となります。このような広範な領域にもかかわらず、これらすべての領域に適用される具体的なプラクティスが存在します。

DataOpsのプラクティスについてですが、以下7点が挙げられます。

・アジャイルの適用

・顧客チームとの「統合」

・すべてコードで実装

・ソフトウェア・エンジニアリングのベストプラクティスの適用

・複数の環境を維持

・ツールチェーンの統合

・すべてをテストする

以下、これらのプラクティスについて、個々に説明してきます

アジャイルの適用

DataOpsのチームが他のアジャイルチームを効果的にサポートするためには、短い納期と変化への対応力（これらの要件に付随するあらゆるもの）が必須となります。

顧客チームとの「統合」

DataOpsチームには、DataOpsチームを支援するエンジニアチームとしての顧客が社内にいるため、日常的なやりとりが容易にできるという利点があります。少なくとも日次にフィードバックを収集することもあります。DataOpsとデータエンジニアリングが同一の場所で仕事をすることが可能であれば、より望ましいです。

すべてコードで実装

これは、ホスト設定、ネットワーク設定、自動化、テスト結果の収集と公開、サービスのインストールと起動、エラー処理等を意味します。すべてがコード化されている必要があります。

ソフトウェア・エンジニアリングのベストプラクティスの適用

IaC(Infrastructure as Code：サーバーなどのシステムインフラの構築を、コードを用いて行うこと)の最大の価値は、そのコードが、私たちがソフトウェア工学で蓄積してきた数十年の知恵を使って開発されたときに達成されます。つまり、ブランチ(分岐をして開発を行うこと)やマージ(他者の開発した変更内容を取り込むこと)を含むバージョン管理、あらゆるものの自動回帰テスト、明確なコード設計とファクタリング(要素の分解)、明確なコメント、等を指します。

複数の環境を維持

開発環境、受け入れテスト環境、本番環境は別々にします。本番環境でのテストや、開発環境からの本番運用は金輪際行わないようにしましょう。DataOpsの本番環境の中には、データエンジニアの開発環境もあり、もう1つはデータエンジニアの本番環境であることに注意してください。DataOpsの開発環境は、DataOpsチームが新機能を開発するためのものです。

ツールチェーンの統合

データ運用の領域が異なれば、必要なツールの集合体も異なります。これを、「ツールチェーン」と呼びます。チームが効率的に活動するためには、これらのツールチェーンが一緒に機能する必要があります。データ移行エンジンとバージョン管理は一緒に作動する必要があります。ホストの設定とモニタリングは一緒に作動する必要があります。複数の環境を維持することになりますが、それぞれの環境の中で、すべてが連動する必要があるのです。

すべてをテストする

品質テストに合格していないデータは、決して展開をしてはなりません。リグレッションテスト(機能・非機能テストを再実行し、以前に開発・テストしたソフトウェアが変更・修正後も動作することを確認するテスト)に合格していないサービスを展開することはありません。自動化されたテストでは、本番環境に入るかなり前に問題が早期に発見されるという確信を持ちながら、迅速に変更を加えることができます。

これらの７つのプラクティスにより、小規模な運用チームがデータエンジニアリングチームと緊密に連携し、アプリケーションと分析を促進する高品質なデータをタイムリーに提供することが可能になります。

まとめ

DataOpsは、DevOpsを踏まえた高度なアプローチが必須となります。このアプローチを実践する上で、重要となる知恵や経験則を紹介しました。中には「そんな当たり前なこと」と思われる箇所もあるかもしれませんが、こういった当たり前なことこそ、DataOpsのアプローチを成功させるのに重要な要素となってきます。

弊社はDevOpsをインフラ最適化として適用する「SRE」について多くの実績を持ち、DevOpsならびにDataOpsにも精通しております。ぜひご相談ください。

The post DataOpsを実践する7つのプラクティス first appeared on Reckoner.