ReckonerでSalesforceからBigQueryに週次で同期する方法

はじめに

クラウドネイティブなデータ連携サービスReckoner(レコナー)を使うことで、SalesforceからBigQueryへのデータ同期を週次で実施する方法をご紹介します。

ワークフローの全体図

ワークフローの全体図は以下の通りになります

設定詳細: 転送元 Salesforce

次のように設定します。

設定完了後「設定」を選択して完了します。

※設定の詳細は以下のSoure Salesforceのドキュメントを参照ください
https://3-shake.gitbook.io/reckoner_jp/workflow/source/source-salesforce

設定詳細: 変換処理 投影

今回は「投影」の変換処理を使用します。

上述で作成したSalesforceと転送先の投影をデータパイプラインで連携します。
転送元のタスクで抽出したデータから任意の項目(フィールド)を選択します。

設定完了後「設定」を選択して完了します

設定の詳細は以下のData Transform 投影のドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/data-transform-and-analytics/transform-projection

設定詳細: 転送先 Google BigQuery

上述で作成した投影と転送先のGoogle BigQueryをデータパイプラインで連携します。

次のように設定します。

設定完了後「設定」を選択して完了します。

設定の詳細は以下のSink Google BigQueryのドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/sink/sink-googlebigquery

ワークフローの実行について

「名前」と「説明」を入力して「保存」を選択

「実行」を選択します。

ジョブが問題なく完了すると「成功」となります。

Google BigQuery上での確認

以下のようにGoogle BigQuery上に転送データが登録されていることが確認できれば完了です。

上記データは架空のテストデータです

ワークフローのスケジュール設定

ワークフローを手動で実行することなく、スケジュールを設定することで定期実行することができます。

時計のアイコンをクリックします。

週次で実行したいスケジュールを選択、入力して設定をクリックします。

Reckoner(レコナー)について

Reckoner(レコナー)は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム(Data Integration Platform as a Service)です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://www.reckoner.io/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは?選び方やメリットを解説」をぜひご覧ください。

ブログ一覧へ戻る