Google BigQueryへのデータ自動連携ならReckoner（レコナー）
PostgresqlのデータをGoogle BigQueryに自動連携する方法
課題・現状
データベースがPostgresqlで構築されている調達システムを利用している。どの商品をどの取引先から購入したらディスカウント率が高いか、どの商品が売れているか、などの分析や、発注から納品までのリードタイムを分析し、今後の調達先や調達商品の見定めをおこないたい。しかし、各取引先ごとに、日付データ型が異なっていたり、カテゴリが入力されていない商品、半角全角表記がバラバラの商品など、データ分析をするには、データクレンジングをおこなう必要がある状態。データが膨大かつ、今後、既存営業部門メインで分析業務を進めてもらいたいため、わかりやすいデータ加工・連携ツール、データウェアハウスを探している。
Reckoner（レコナー）導入の効果
分析データ準備工数を軽減。
商品コードの1文字目で判定し自動で任意のカテゴリ名をつけることができたため、データ分析の下準備が整った。
属人化からの脱却。
簡単なマウス操作で、BIツールで表示させるカラム名やデータ型の変換がおこなえるため、社内エンジニアや情報システム部、知見があるメンバーに依存することなく、スピーディーにデータ加工ができた。
PostgresqlのデータをGoogle BigQueryに簡単に自動連携する方法
STEP1
接続設定
Reckoner（レコナー）が、データソースとなるPostgresql、データ転送先となるGoogle BigQueryにアクセスできるようにするため、ログイン情報入力やOauth設定をおこなう。
STEP2
データ加工・変換
SQLを記述することなく、Reckoner（レコナー）画面上のマウス操作で、以下加工・整形をおこなう。
・任意のデータに対して決められたアルゴリズムを適用し、不可逆のデータを作成する「ハッシュ化」タスクを用いて、取引先名をハッシュ化する。
・文字列型（string型）の日付項目をdate型に変換する「日付パース」タスクを用いて、発注日、希望納期、納品日をすべてdate型に変換する。
・フィルタリング条件に一致したレコードを抽出する「フィルター」タスクを用いて、任意のコードから始まる取引先データや商品データを抽出する。
・全角と半角を、カナ・英字・数字・記号・スペース別に相互に変換できる「全角半角変換」タスクを用いて、半角表記の商品名を全角表記に統一する。
・既存フィールドのフィールド名変更や型変更、新規フィールドの追加ができる「フィールド変換」タスクを用いて、コードごとに任意のカテゴリ名を付与する。
・複数のテーブルのデータを縦方向（レコードを増やす方向）に統合する「統合」タスクを用いて、これまで加工したデータをすべて統合する。
STEP3
ワークフロー作成・データ連携
検証環境を用意することなく、Reckoner（レコナー）の画面上で処理結果のプレビューをぱっと確認。バッチ制作不要で、とPostgresqlとGoogle BigQueryを繋いでデータの流れを作成する。
Reckonerでの解決ポイント
誰でもノーコードでデータ加工が可能。
センシティブな個人情報を手軽にハッシュ化ができる。
