データウェアハウスへのデータ連携基盤構築ならReckoner（レコナー）

GoogleドライブのデータをSnowflakeに自動連携する方法

課題・現状

現在使っている基幹システムの老朽化にともない、基幹システムのリプレイスをおこなう予定。これに伴い、データウェアハウスであるSnowflakeとの連携インターフェースも新しく作成する必要がある。Snowflakeにデータを取り込む前には、商社独自の計算ロジックがあるため、SQLの記述が求められるが、担当者がSQLが書けないため複雑なデータ加工・連携処理が作成できない。また、要件として、何らかの理由でSnowflakeにデータが連携できないエラーが発生した場合の通知機能は必須。外注も検討しているがコスト高になることが予想され、他の選択肢が無いか情報収集中。

Reckoner（レコナー）導入の効果

低コストで連携インターフェースの実装が可能。

直感操作可能なUIのため、プログラムのメンテナンスも外部委託することなく、社内の非エンジニアのみで対応ができた。
Snowflakeの操作不要。

データソース（Googleドライブ）からのデータ取得・加工・転送先（Snowflake）への連携が自動的におこなえた。
エラー発生時はすぐに対応可能。

Slackやメールへの通知機能を利用して、データ連携時エラー発生時にはすぐに検知できた。

サービスやデータに関するご質問・ご相談などお気軽にお問い合わせください

資料請求・お問い合わせ

GoogleドライブのデータをSnowflakeに簡単に自動連携する方法

STEP1

接続設定

基幹システムからエクスポートしたCSVデータや、他のExcelをGoogleドライブに格納。Reckoner（レコナー）が、データソースとなるGoogleドライブ、データ転送先となるSnowflakeにアクセスできるようにするため、ログイン情報入力やOauth設定をおこなう。

STEP2

データ加工・変換

SQLを記述することなく、Reckoner（レコナー）画面上のマウス操作で、以下加工・整形をおこなう。
・既存フィールドのフィールド名変更や型変更をする「フィールド変換」タスクを用いて、Snowflakeでもっている管理項目名に変更する。
・指定したフィールドの値を基準にデータをグループ化して集計する「集計(Group by)」タスクを用いて、計算ロジックに基づいたデータの集計をおこなう。

STEP3