kintoneの業務アプリデータをBigQueryに転送してデータポータルで可視化する

はじめに


クラウドネイティブなデータ連携サービスReckoner(レコナー)を使用して、kintoneの業務アプリデータをBigQueryに転送し、データポータルを使用して可視化します。
可視化した結果はこちら。

Reckonerを使用することで簡単にkintoneのデータをBigQueryに連携することができ、kintone単体では弱い可視化の機能をBIツールを利用して補うことができます。


ワークフローの概要

kintoneから提供されているアプリの営業支援パックの中から案件管理と活動履歴のサンプルアプリデータをBigQueryに連携し、一つの画面で可視化するようなシナリオで進めます。
基本的に1アプリに付き1ワークローなため、2つワークフローを作成します。作成はそれぞれ以下のような流れになります。

  1. kintoneのSourceを追加
    2.データクレンジング及びカラムの変換処理を追加
  2. 転送先のBigQueryを追加
    ワークフローの全体像はこのような形になります(案件管理の例)。

使用するkintoneアプリについて


案件管理のデータはこんな感じ

活動履歴のデータはこんな感じです

このデータをワークフローを通じてBigQueryに連携していきます。


事前準備

BigQuery テーブルの作成と使用 などを参考にBigQueryで空テーブルを作成しておきます。
Cloud Storage ストレージ バケットの作成 などを参考にCloud Storage バケットを作成しておきます。


ワークフロー作成

案件管理のワークフローを例に作っていきます。
左側のグローバルメニューから「ワークフロー」を選択して「作成」を選択します。

kintoneのソース追加


ワークフローのタスクから「SOURCE」を選択して、

「KINTONE」をドラッグして右側の格子状の箇所にドロップします。

ドラッグアンドドロップに成功するとKINTONEの設定画面が開かれるので、必要な項目を入力します。

名前で適当な名前を入力し、
・接続情報で事前に設定したkintoneへの接続情報を選択
・Query部分で「SELECT * FROM アプリ名」という形で対象アプリを入力
・セットを入力完了後選択


不要な文字の削除

案件管理アプリには確度というカラムがあり、%入りでデータが入力されています。

この値はBIツールで可視化するときに、数値として認識されてほしいのに文字列として認識されてしまい邪魔なので、REPLACEMENTという機能を使用してワークフローの中で削除します。
TRANSFORMからREPLACEMENTを選択し、右側の格子状の画面にドラッグアンドドロップします。

名前で適当な名前を入力し、
・名前で置換対象のカラム名を入力
・正規表現に削除対象の「%」を入力
・置換部分は削除なので何も入力しない
・セットを入力完了後選択


このようにワークフローの中で非常に簡単に不要な文字を削除する設定を入れることができます。

これでkintoneに手を加えることなく、BIツールで使いやすいデータにReckoner側で自動的に処理を行ってくれるようになります。


json形式のデータから必要な文字列を取り出す

Reckonerのプレビュー機能を使用するとどのようなデータがkintoneから取得できるかがわかるのですが、商品担当者カラムの情報がjsonになっているためJSON PERSERを使用して必要な情報を取り出します。

TRANSFORMからJSON PARSERを選択し、右側の格子状の画面にドラッグアンドドロップします。

名前に適当な名前を入力し、
・フィールドに対象カラム名を入力
・キーに対象文字列のキー名を入力
・エイリアスに対象文字列を格納するカラム名を入力
・セットを入力完了後選択


これで必要な文字列(この例で言えばsakai@3-shake.com)を取り出せます。
エイリアスのカラム名は、BigQueryに入れることを考慮し英語名にしています。


フィールド変換

ここの「フィールド変換」部でPROJECTION機能について詳しく解説しています。同じように以下のように設定を行います。

person_in_chageカラム名のみ、先程のJSON PERSERで英語化しているためkeepにのみ入力します。
リネームして英語化する必要はありません。


BigQueryに転送


SINKからGOOGLE BIGQUERYを選択し、右側の格子状の画面にドラッグアンドドロップします。

名前に適当な名前を入力し、各設定値を入力します。
ここまでできれば、あとはここのデータパイプラインの作成以下を参考に、ワークフローを実行します。
実行後、以下のようにBigQuery上のtableにデータが入っているはずです。

可視化


BigQueryにデータが入ってしまえば、後は様々なツールで連携することが可能です。
今回はkintoneの複数アプリを、Googleのデータポータルを使用して1ヶ所で可視化してみました。
冒頭で紹介したものと同じものです。

データポータルの操作方法は割愛しますが、Reckonerを使用すればkintoneのデータを簡単に連携でき、BIツールを使用すればサンプルデータであってもここまでの可視化を実現できます。
皆様も是非使ってみてください。


Reckoner(レコナー)について

Reckoner(レコナー)は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム(Data Integration Platform as a Service)です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://www.reckoner.io/

今なら14日間無料!

資料請求、トライアルの申し込み、御社へ伺っての製品デモンストレーションまで、
お気軽にご相談ください。

資料請求・お問い合わせ