ReckonerでSalesforceからBigQueryに週次で同期する方法
はじめに
クラウドネイティブなデータ連携サービスReckoner(レコナー)を使うことで、SalesforceからBigQueryへのデータ同期を週次で実施する方法をご紹介します。
ワークフローの全体図
ワークフローの全体図は以下の通りになります
設定詳細: 転送元 Salesforce
次のように設定します。
設定完了後「設定」を選択して完了します。
※設定の詳細は以下のSoure Salesforceのドキュメントを参照ください
https://3-shake.gitbook.io/reckoner_jp/workflow/source/source-salesforce
設定詳細: 変換処理 投影
今回は「投影」の変換処理を使用します。
上述で作成したSalesforceと転送先の投影をデータパイプラインで連携します。
転送元のタスクで抽出したデータから任意の項目(フィールド)を選択します。
設定完了後「設定」を選択して完了します
※設定の詳細は以下のData Transform 投影のドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/data-transform-and-analytics/transform-projection
設定詳細: 転送先 Google BigQuery
上述で作成した投影と転送先のGoogle BigQueryをデータパイプラインで連携します。
次のように設定します。
設定完了後「設定」を選択して完了します。
※設定の詳細は以下のSink Google BigQueryのドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/sink/sink-googlebigquery
ワークフローの実行について
「名前」と「説明」を入力して「保存」を選択
「実行」を選択します。
ジョブが問題なく完了すると「成功」となります。
Google BigQuery上での確認
以下のようにGoogle BigQuery上に転送データが登録されていることが確認できれば完了です。
ワークフローのスケジュール設定
ワークフローを手動で実行することなく、スケジュールを設定することで定期実行することができます。
時計のアイコンをクリックします。
週次で実行したいスケジュールを選択、入力して設定をクリックします。
Reckoner(レコナー)について
Reckoner(レコナー)は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム(Data Integration Platform as a Service)です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://www.reckoner.io/
ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは?選び方やメリットを解説」をぜひご覧ください。