クラウドネイティブなデータ連携サービスReckoner（レコナー）の変換タスク「差分」を使うことで、2つのデータを比較して差分を抽出することができます。

■比較元のkintoneアプリデータ

■比較先のGoogle Sheetsのデータ

今回はGoogle Sheetsとkintoneアプリで差分のある箇所は添付の赤枠部分になります

＊上記データは全てテスト用の架空データです

事前設定: kintoneアプリで重複データ排除設定にする

kintoneアプリの設定にて、更新のキーとなるフィールドを設定します。アプリを開いて、右上の設定をクリックします。

キーフィールドを設定する項目の設定をクリックします。

「値の重複を禁止する」にチェックして保存をクリックします。

設定詳細: 転送元kintone

設定後、画面右上のプレビューをクリックして実行結果を確認します。

• 表示名 : 任意
• 接続情報 : 接続情報のKintoneで作成した表示名
• アプリID : Kintoneから取得したいアプリID
• メタフィールドを取り込む : オフ
• カラム名モード : label

アプリIDはアプリを開いた時のURLから確認できます。

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

設定詳細: 転送元Google Sheets

設定後、画面右上のプレビューをクリックして実行結果を確認します。

• 表示名 : 任意
• 接続情報 : 接続情報のGoogle Sheetsで作成した表示名
• スプレッドシート : Google Sheetsのスプレッドシート名
• シート名 : Google Sheetsのシート名

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

設定詳細: 投影

ソースで作成したKintoneには自動でレコード番号列が作成されるため、削除します。

次のように設定します。設定後、画面右上のプレビューをクリックして実行結果を確認します。

• 表示名 : 任意
• モード : 削除
• 削除するフィールド : レコード番号

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

ソースで作成したGoogle Sheets/スプレッドシートには自動でrow_number列が作成されるため、削除します。

次のように設定します。

設定後、画面右上のプレビューをクリックして実行結果を確認します。

• 表示名 : 任意
• モード : 削除
• 削除するフィールド : row_number

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

設定詳細: 差分

次のように設定します。

設定後、画面右上のプレビューをクリックして実行結果を確認します。

• 表示名 : 任意
• 比較元テーブル : 比較先で作成した表示名
• 比較先テーブル : 更新元で作成した表示名
• 比較条件 : [“postalcode”, “address”, “tel”, “email”, “hobby”]

（差分で抽出されるデータは比較元テーブルに設定した内容が抽出されるため、比較元テーブルには比較先で作成したソースを設定し、比較先テーブルには更新元で作成したソースを設定することに注意してください。）

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

設定詳細: 転送先 kintone

次のように設定します。

（設定後、画面右上のプレビューをクリックして実行結果を確認します）

• 表示名 : 任意
• 接続情報 : 接続情報のKintoneで作成した表示名
• アプリID : Kintoneから取得したいアプリID
• モード : upsert
• キーフィールド : id
• カラム名モード : label

Completed が表示され、想定通りの結果になったら設定ボタンをクリックします。

更新の確認

以上のワークフローで差分をkintoneアプリに更新することができました。

kintoneから対象アプリを開き、更新されていることを確認します。

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://d70n4ejob1vxf.cloudfront.net/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post ReckonerでkintoneとGoogle Sheetsを比較して差分をkintoneに更新する方法 first appeared on Reckoner.

ワークフローの全体図

設定詳細: 転送元 Google Analytics4

以下のように設定します。

※DimensionsとMetricsとは
Google Analyticsのアナリティクスのレポートは、すべてディメンションと指標の組み合わせに基づいて構成されます。詳しくは下記を参考してください。
https://support.google.com/analytics/answer/1033861?hl=ja

設定詳細: 転送先 Google Sheets

上述で作成したGoogle Analytics4と転送先のGoogle Sheetsをデータパイプラインで連携します。

ワークフローの実行について

「名前」と「説明」を入力して「保存」を選択。

「実行」を選択します。

ジョブが問題なく完了すると「成功」となります。

Google Sheets上での確認

下記のようにGoogle Sheets上にSinkの内容が登録されていることが確認できれば完了です。

ワークフローのスケジュール設定

ワークフローを手動で実行することなく、スケジュールを設定することで定期実行することができます。

時計のアイコンをクリックします。

日次で実行したいスケジュールを選択、入力して設定をクリックします。

• スケジュール : ON
• ベーシック/カスタム : ベーシック
• タイムゾーン : Asia/Tokyo
• 実行単位 : カスタム
• 実行単位 : 日
• 開始時間 : 23:00

東京時間で毎日23:00にワークフローを実行します。

※ワークフローを定期的に実行させる詳しい説明は以下ドキュメントをご確認ください。
https://3-shake.gitbook.io/reckoner_jp/tips/workflow-schedule

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://d70n4ejob1vxf.cloudfront.net/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post ReckonerでGoogle Analytics4をGoogle Sheetsへ日次で同期する方法 first appeared on Reckoner.

サンプル概要

kintoneの2つのアプリ、「アプリA」と「アプリB」があり、この中に入っているデータを同期します。2つのアプリのアプリのスキーマは同一であり、次のとおりです。

「文字列」「担当者」カラムの型はkintone上の「文字列（１行）」であり、「追加更新日時」カラムの型は、kintone上の「日時」です。

2つのアプリ内に入っているデータで、「担当者」と「追加更新日時」のデータが同一であった場合は、同じデータとして扱い、kintone内部で自動的にアイテム更新時に更新される「更新日時」カラムの日時が新しい方を正とし、「文字列」カラムを新しい方のデータに合わせた上で、2つのアプリへ書き込みます。

実行前のアプリAが次の状態で、

実行前のアプリBが次の状態のとき、

「担当者」と「追加更新日時」が同じなため、同じデータとして扱われる「担当者」が「田中太郎」のデータの、更新日時がアプリAよりもアプリBの方が新しい場合、アプリBのデータが優先されます。

このため、実行後のアプリAの状態は次のようになり、

実行後のアプリBの状態は次のようになります。

Reckoner ワークフロー概要

Reckonerで作成したワークフローの全体像は以下のとおりです

設定詳細: 転送元アプリA

転送元のkintoneアプリAの設定は以下のように設定しました。
（事前に登録したkintone接続情報を選択後、すべてのカラムを選択するようなクエリを記述します）

詳細設定: 転送元アプリB

同様にkintoneアプリBの設定は以下のように設定しました。

詳細設定: 結合(JOIN)アプリA

次にkintoneアプリAから抽出したデータに対してkintoneアプリBから抽出したデータを結合(JOIN)します。この時、同じデータとして扱いたい条件である「担当者」と「追加更新日時」が同一なもので左結合し、UPSERTに必要なkintoneの自動採番IDや、各アプリのデータをSELECTします。

詳細設定: 結合(JOIN)アプリB

次にkintoneアプリBから抽出したデータに対してkintoneアプリAから抽出したデータを結合(JOIN)します。こちらも同様に、同じデータとして扱いたい条件である「担当者」と「追加更新日時」が同一なもので左結合し、UPSERTに必要なkintoneの自動採番IDや、各アプリのデータをSELECTします。

設定詳細: SQL文字列カラム計算アプリA/B

「SQL 文字列カラム計算 アプリA」「SQL 文字列カラム計算 アプリB」は、表示名は違いますが、クエリは同一で、次のとおりです。

SELECT *, IF(IFNULL(アプリA更新日時, to_timestamp('1970-01-01T00:00:00Z')) > IFNULL(アプリB更新日時, to_timestamp('1970-01-01T00:00:00Z')), アプリA文字列, アプリB文字列) AS 文字列 FROM linked_table 

それぞれのアプリの更新日時が新しい方の「文字列」カラムのデータを、「文字列」カラムに入れています。

設定詳細: 投影 DROPアプリA/B

「投影 DROP アプリA」「投影 DROP アプリB」は、表示名は違いますが、それ以外の設定は同一で、上のとおりです。
転送するために不要となったカラムを落としています。

設定詳細: 転送先アプリA/B

上のように、正しい接続情報を選択した上で、各アプリに対して、kintone内部で自動採番されるIDである「RecordId」をキーにした上でUPSERTを行います。

以上で2つのkintoneアプリをデータ同期させることができました

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://d70n4ejob1vxf.cloudfront.net/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post Reckonerでkintoneのアプリ同士を相互に同期する方法 first appeared on Reckoner.

クラウドネイティブなデータ連携サービスReckoner（レコナー）を使うことで、SalesforceからBigQueryへのデータ同期を週次で実施する方法をご紹介します。

ワークフローの全体図

ワークフローの全体図は以下の通りになります

設定詳細: 転送元 Salesforce

次のように設定します。

設定完了後「設定」を選択して完了します。

※設定の詳細は以下のSoure Salesforceのドキュメントを参照ください
https://3-shake.gitbook.io/reckoner_jp/workflow/source/source-salesforce

設定詳細: 変換処理 投影

今回は「投影」の変換処理を使用します。

上述で作成したSalesforceと転送先の投影をデータパイプラインで連携します。
転送元のタスクで抽出したデータから任意の項目（フィールド）を選択します。

設定完了後「設定」を選択して完了します

※設定の詳細は以下のData Transform 投影のドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/data-transform-and-analytics/transform-projection

設定詳細: 転送先 Google BigQuery

上述で作成した投影と転送先のGoogle BigQueryをデータパイプラインで連携します。

次のように設定します。

設定完了後「設定」を選択して完了します。

※設定の詳細は以下のSink Google BigQueryのドキュメントを参照ください。
https://3-shake.gitbook.io/reckoner_jp/workflow/sink/sink-googlebigquery

ワークフローの実行について

「名前」と「説明」を入力して「保存」を選択

「実行」を選択します。

ジョブが問題なく完了すると「成功」となります。

Google BigQuery上での確認

以下のようにGoogle BigQuery上に転送データが登録されていることが確認できれば完了です。

ワークフローのスケジュール設定

ワークフローを手動で実行することなく、スケジュールを設定することで定期実行することができます。

時計のアイコンをクリックします。

週次で実行したいスケジュールを選択、入力して設定をクリックします。

※ワークフローを定期的に実行させる詳しい説明は以下ドキュメントをご確認ください。
https://3-shake.gitbook.io/reckoner_jp/tips/workflow-schedule

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://d70n4ejob1vxf.cloudfront.net/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post ReckonerでSalesforceからBigQueryに週次で同期する方法 first appeared on Reckoner.

本記事ではMySQLからBigQuery(以降、BQ)へデータを定期転送するための方法について理解を深めて行きたいと思います。本記事で想定しているシチュエーションとしては何らかのwebサービスを運営していて、そのデータをMySQLで管理しているものとします。

ただ、MySQLは大量のデータを頻度高く集計するといったことに不慣れなシステムなのでデータを活用してサービスを改善するためにはそれにあったデータベース(またはDWH)にデータをうつす必要が出てきます。

その代表としてBQを例にデータの転送方法を述べていきたいと思います。

このように書いている前提を少し補足するとBQはDWH(データウェアハウス)とよばれ、応答は遅いものの大容量データの集計に長けています。一方でMySQLはDWHに対してトランザクションデータベースに区分され、大容量データの処理は不得意ですが、素早い応答が可能といった特徴があります(この区分や理解は大雑把なものであり、細かくはKVSなどその他のデータベースとの対比が必要になりますが割愛します。)。

本記事で扱うMySQLやBQはそれぞれを代表するデータベースとなり、多くのサービスで扱われているものとなりますので、それぞれの環境で若干ことなるとしてもご参考になると思われます。

データを転送する

先にも書いた通りMySQLはサービスで利用されているものとなり、MySQLに対して頻度高くサービス外のクエリを実行するのはサービスがスローを起こすなどの原因になるので避けるべきものとなります。そこでMySQLのデータを適切な場所へ移してデータ分析をするとした場合にまず候補に上がってくる一つがBQになると思われます。その理由としてはDWHとして料金が安いといったことやGoogle Cloudにおける分析ツールなど連携しやすく有益なツールが豊富なことが挙げられます。

では、具体的にデータ転送の方法を上げていきます

1. MySQLからデータを出力させ、Google Cloud Storageにデータ転送してからBigQueryにUPする方法

SELECT * FROM Table INTO OUTFILE '/hoge/test.dmp'

このようなデータダンプを行い(Tableというテーブルからデータを抽出し、/hoge以下にtest.dmpという名前でデータを出力)、出力結果をシェルなどにより任意のGCS領域に対してデータ転送を行います。

この際、セキュアな設計のためにMySQL側のファイル転送ユーザーに対してGCSへの書き込み権限をふったり、サーバ間におけるIPの参照許諾の設定をするなどが必要となってきます。また様々な要因でMySQLにデータがない、欠損した、または出力データが多くて一定時間以上データ出力にかかり、転送バッチが先に動いたなどのトラブルが起きるので回避のために再実行設定やデータが任意のところに起き終わったことを示す、フラグファイルといった物をおく(フラグファイルの名前決めも必要)と言った具合に多くの設定が必要になってきます。

2. embulkを使ったデータ転送方法

1の例ではシステム間のサーバ(IPなど)、実行ユーザなど細々とした設定を管理する必要があります。そのような煩雑な設定から定期実行から(限りなく)リアルタイムにデータを転送したいといった自由度をあげる仕組みとしてembulkを使った開発例を挙げます。embulk自体のインストールとデータの出力と入力のためのymlファイルと呼ばれる設定ファイルの設定が必要となります。

in:
type: mysql
user: {your mysql user}
password: {your mysql passowrd}
host: {your mysql host}
database: {your mysql database}
query: >-
select * from Table;

out:
type: bigquery
auth_method: {auth key}
json_keyfile: hoge.json
path_prefix: /tmp/ #例
file_ext: .csv.gz
source_format: CSV
project: {your project}
dataset: {your BQ dataset}
auto_create_table: true
table: {your BQ table}
schema_file: {your json file}
formatter: {type: csv, charset: UTF-8, delimiter: ',', header_line: false}
encoders:

- {type: gzip}

このような設定ファイルとともに設定内容を決める必要があると理解できます。1より若干保守のことも考えると楽ではありますが手間が多いことが容易に想像できます。

3. Reckoner（ETL）を使ったデータ転送方法

Reckonerを使った接続についてご説明したいと思います。まず下の図が全体像になります。

単純に言えばMySQLとBQそれぞれの接続情報や対象のデータベースを設定してGUI上で連携関係を結ぶといったことをする。

この利点はまず設定ファイルの権限設定や実行ユーザーを気にする必要ないことです。またGUI上で一眼で連携関係がわかるところにあります。そのほかに中継させるディレクトリの管理が不要になり、結果としてデータを移したいだけなのに、他にアプリケーションを導入してそのアプリの管理をしなくてもいいことになります。

これだけ気にしなくてもいい物があると保守性が高いということが言えます。その他にデータを転送時にデータチェックや変形がしたい場合はReckonerに搭載されている変換や分析ツールをMySQLとBQの間に挟んで設定すればいいものになります。

定期実行については

エンジニアが少ない組織や、まずテストフェーズにおいてスピードを優先する場合などに有効な手段と言えます。

まとめ

本記事ではMySQLからBigQueryへのデータ転送の方法の代表例3つをあげさせていただきました。1<2<3となるにつれ設定が少なくなっていく(=保守性が高くなっていく)ことが理解できたかと思います(※gitなどへプルリクエストを送っての管理ができなくなるのでその点ではデメリットと感じる組織もあるとは思います。)。

参考にしていただき、ツールでのスピーディーな開発を検討してみてはいかがでしょうか。

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://d70n4ejob1vxf.cloudfront.net/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post ReckonerでMySQLからBigQueryへ週次同期する方法 first appeared on Reckoner.

クラウドネイティブなデータ連携サービスReckoner（レコナー）を使用して、RDSのデータをSalesforceに連携します。

オンプレミスやクラウドに存在するMySQLやPostgreSQLといったデータベースとSalesforceを連携させたい場面は良くあると思います。

例えばデータベースに蓄積された顧客情報や、マスタデータをSalesforceに連携させて活用したり、Salesforceにある保存期間の長いデータをデータベース側にアーカイブとして蓄積する、といった使い方も可能です。

特にSalesforceはストレージコストが高くかかりますので、このような外部データベースとの連携は欠かせません。

Reckonerはこのような連携を簡単に実現できますので、今回はAmazon RDSのデータベースをSalesforceに連携する手順を紹介します。

使用するデータベース

今回の連携では以下URLのworld databaseを使用します。
https://dev.mysql.com/doc/index-other.html

連携するテーブルはcityを使用します。
以下のような形でデータが入っている状態になります。

Salesforce側の準備

手順は割愛しますが、cityテーブルに連携するカスタムオブジェクトと、cityテーブルのカラムに対応するカスタム項目をそれぞれ作成しておきます。

ポイントは、Salesforceへの連携時にcityテーブルのIDカラムをユニークな値として使用することでupsertの動作を行うため、IDカラムに対応するカスタム項目側で外部IDを有効化しておくことです。

連携の概要

1. RDS側のSecurityGroupでReckonerのソースIPからのアクセスを許可する
2. MySQLの接続情報を登録
3. Salesforceの接続情報を登録
4. MySQLのSourceを追加
5. Salesforceのカスタム項目にテーブルのカラムを連携させるため、PROJECTIONを用いてマッピング設定を追加
6. 連携先のSalesforceを追加

Reckonerで作成するワークフローは最終的にこのような形になります。

RDSのSecurityGroupでReckonerのソースIPからのアクセスを許可する

これはAWSのSecurityGroupの画面になりますが、事前にReckonerからのアクセスを許可するためinbound rulesにReckonerのソースIPを登録しておきます。

また、RDS側はPublic accessibilityを有効化してあります。

MySQLの接続情報を登録

左側のサイドバーからIntegrationを選択し、MySQLを選択します。

遷移後の画面でCreate Integrationを選択します。

各情報を入力し、Setを選択して保存します。

Salesforceの接続情報を登録

先程と同様にIntegrationからSalesforceを選択してCreate Integrationを選択します。

各必要な項目を入力してSetを選択して保存します。
今回の連携先のSalesforceはSandbox環境なのでUse Sandboxを有効化します。

ワークフロー作成

左側のグローバルメニューからワークフローを選択して
「Create Workflow」を選択します。

MySQLのSouceを追加

SourceからMySQLをドラッグして右側にドロップすると、MySQLの設定画面が開かれるので必要な項目を入力します。

• Display Name: 適切な名前を入力します
• Integration: 先程設定したIntegrationを選択します
• Database: 使用するデータベース「world」を入力します
• Query: データ取得に使用するクエリ書きます。今回はcityテーブルをすべて持ってくるようにクエリを書いています。

設定完了したらSetを選択します。

Salesforceのカスタム項目にテーブルのカラムを連携させるため、PROJECTIONを用いてマッピング設定を追加

TransformからPROJECTIONをドラッグして右側にドロップすると、PROJECTIONの設定画面が開かれるので必要な項目を入力します。

• Display Name: 適切な名前を入力します
• mode: keepを選択します
• keep Fields: cityテーブルの中で転送するカラム名を入力します。今回は全て転送するので全てのカラム名を入力しています
• Rename Fields: 各カラム名を、Salesforce側のカスタム項目名にマッピングします。全てのカラム名に対してマッピングの設定を入力します。

設定完了したらSetを選択します。

連携先のSalesforceを追加

SinkからSALESFORCEをドラッグして右側にドロップすると、SALESFORCEの設定画面が開かれるので、必要な項目を入力します。

• Display Name: 適切な名前を入力します
• Integration: 先程設定したIntegrationを選択します
• Sobject: 連携するカスタムオブジェクトのSobjectを入力します
• Mode: upsertを選択します。公式でも推奨されているように、基本はupcertを選択します
• Key Field: 冒頭で説明した、upsertでKeyとなるユニークなFieldを選択します。
• Camelize: 今回は設定しません

設定完了したらSetを選択します。

ここまで設定できれば、ワークフローは以下のようになっているはずです。

問題なさそうであれば、ここのワークフローの保存と実行以下を実施してワークフローを実行します。

データの確認

ワークフローの実行に問題なければ、以下のようにSalesforce側にRDSのcityテーブルのデータが連携されているはずです。

まとめ

いかがでしたでしょうか。
Reckonerを使用することで非常に簡単にRDSのデータをSalesforceに連携させることができます。
今回はご紹介できませんでしたが、SalesforceからRDSへの連携も同様に行うことが可能です。
もしSalesforceとデータベースの連携でお悩みの方がいましたら、是非使ってみてください。

Reckoner（レコナー）について

Reckoner（レコナー）は、スリーシェイクが提供するオンプレミスからクラウドサービスまで、様々なデータを連携させることが可能なクラウドネイティブなデータ連携プラットフォーム（Data Integration Platform as a Service）です。
データ整備に欠かせないETL/ELTやデータパイプラインなどをノンプログラミングで実現し、従来エンジニアが必要とされていた開発・運用コストを大幅に削減できます。
https://d70n4ejob1vxf.cloudfront.net/

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post AmazonRDSのデータベースをSalesforceに連携する first appeared on Reckoner.

ここでは、iPaaS EAI ETL/ELT RPA と言ったデータ連携や活用の文脈でよく出てくるワードについて、大枠を掴んでもらい、自分が抱えている課題に対してどのカテゴリに属するサービスを選ぶのが適切なのか、判断する材料になることを目指します。

そもそも、「iPaaS EAI ETL/ELT RPAの各ワードの意味が曖昧だ」という方にも分かりやすく解説しているので、そういった方も最後までお付き合いください。

目次

• iPaaS = EAIやETL/ELTを指す
  • ETL/ELTサービスの呼び方

• ユースケースごとに知るiPaaS群とRPA
  • 様々なデータを統合して活用する
  • 様々なアプリケーション・ネットワーク・システムのデータを連携する
  • PCで手作業で行っている繰り返し作業を自動化する

• 目的にあったiPaaSを選ぶ

iPaaS = EAIやETL/ELTを指す

iPaaSは「Integration Platform As A Service」の略で、オンプレミス及びクラウドの様々なデータを連携でき、実行や管理ができるサービスのことを指します。「部署によって異なるシステムを利用している」「グループ間でオンプレミスとクラウド環境のどちらも利用している」など、企業によって状況は様々です。こういったデータの垣根を無くす為の橋渡し的な存在がiPaaSということになります。

EAI、ETL/ELT などのサービスは、上記の定義に当てはまるためiPaaSであると言えます。以下でEAI、ETL/ELTについて簡単に解説しておきます。

EAI（Enterprise Application Integration）は「社内アプリケーションの統合」という意味を持つ、データを統合する技術、またはその仕組みを指します。EAIの特徴は「リアルタイム」と「高速」での連携であり、イベント志向のデータ連携に向いている技術と言えます。在庫管理や受発注データ、マスタデータといった、常にデータの整合性を保つ必要があるデータの連携処理に使用されます

ETL（Extract Transform Load）は、データベースなどに格納されているデータを「Extract（抽出）」、用途に合わせて必要の形式に「Transform（変換・加工）」、データを「Load（格納）」するという機能、またはその工程を指します。ELT（Extract Load Transform）は文字からもわかる通り、ETLとはLoad（格納）するタイミングが異なる技術です（最終的な目的は同じ）。企業のシステムに蓄積されているデータを、ETLやELTを使用してBI（ビジネスインテリジェンス）で分析するといったケースに用いられます。

また、いわゆるレシピ型と言われる、IFTTT（イフト）やZapier（ザピアー）のようなWebサービス間やIoT機器を連動させるサービスもiPaaSです。レシピ型の連携サービスの使用例として、「SlackとDropboxを連携させてデータ共有をスムーズにする」「Googleスプレッドシートとタスク管理ツールを連携させて管理する」などの使い方ができます。

RPAは若干毛色が異なり、PCで行っている毎回同じことを繰り返すような定型的な業務を自動化することを目的としています。

ETL/ELTサービスの呼び方

先程の説明でETL/ELTサービスはiPaaSであると書きましたが、実際ETL/ELTの各社は自分たちのサービスのことをETLであったり、データパイプラインと呼ぶことも多いです。
ETL/ELTに限らず、それぞれのサービスが広義のiPaaSには含められるものの、実際は自分たちのサービスをiPaaSとは呼ばず、別の呼称を使っていることもよくあるので、そんなときはここのカテゴリ分けを思い出して混乱しないようにしましょう。

ユースケースごとに知るiPaaS群とRPA

ここからは、最適なデータ連携サービスを選ぶために、ユースケースごとに違いを見ていきます。

様々なデータを統合して活用する

これはETL/ELTが実現します。

特徴として、全レコードもしくは抽出してまとめた単位・大データ単位で、バッチ処理的であることが挙げられます。

これは日々生成される大量のデータの活用に主軸を置き、様々な場所にあるデータを収集し、加工してからDWH（データウェアハウス）のような大容量ストレージにデータを転送するような処理に最適です。

企業には、活用しきれていないが、活用すればビジネスの意思決定に大きな影響を及ぼすようなデータがたくさんあるはずです。その一つ一つのデータをつなげて集約し、活用しやすいようにまとめ上げるのがETL/ELTの役割です。

データウェアハウスにまとめられたデータは、可視化や機械学習、データマートの作成といった各種分析用途に用いられることが多いです。

また、既知のことかもしれませんが、ETL/ELTはクラウドが主流となっています。

クラウドサービスであれば、物理的なハードウェアが不要で「ハード調達コストもハードの破損によるメンテナンスコスト」「保管にかかるコスト」が全て不要です。

データソース側での修正対応もクラウドサービス提供者が行なってくれるため、変更対応にかかるコストも削減できます。そしてオンプレミスのように「調達したハードウェア性能＝処理性能」ではないため、より迅速な処理が可能（クラウドサービスや費用にもよって異なります）です。

様々なアプリケーション・ネットワーク・システムのデータを連携する

これはEAI・レシピ型が実現します。
特徴として、1レコード単位・少データ単位で、イベントドリブンであることが挙げられます。

これはリアルタイムのデータ連携に主軸を置き、複数のアプリケーション・ネットワーク・システムを繋ぐ用途に最適です。

各拠点のデータを集約して最新の在庫情報をチェックしたり、受注・発注のシステムと、会計や生産管理といったシステム、BIツールをそれぞれ連携させつつ、今後の受注予測や会計管理を可視化したりなど、リアルタイム性が求められる連携に最適です。

在庫管理、生産管理、受注管理、会計管理など、それぞれ独立したシステム間の連携は手動で行われていることもあり、自動でデータ連携させることによる効果は絶大です。データの入力コストは無くなり、手動で入力していたことによる人的ミスも起こらなくなります。

PCで手作業で行っている繰り返し作業を自動化する

これはRPAが実現します。
RPAは作業者がPC上で行っている操作を完全に再現して、作業を行うロボットのようなソフトウェアです。定常的に発生する入力業務や、ある資料の文章を別の資料にコピーアンドペーストしたり、メールで来た添付ファイルをExcelに貼り付けて資料を作成するなど、毎回全く同じ作業を行っており、自動化したいような定常業務に最適です。自動化可能なポイントは作業手順が毎回同じで形式化でき、PC上で完結する作業であることです。

目的にあったiPaaSを選ぶ

以上、本記事ではiPaaSについてお伝えしました。
重要なのは、用語の違いを正しく理解をした上で、目的に合致したツールを選択することです。そうすることで、手戻りによって浪費する時間や無駄な工数を減らすことができます。

当社ではクラウド型ETLツール「Reckoner」を提供し、お客様の大規模なデータ処理をクラウドサービスとしてご提供、ご支援しています。

手動によるデータ修正作業や、独自開発のデータ統合ツール、オンプレミスのデータ統合ツールをご利用のお客様は、ぜひお試しください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post iPaaS EAI ETL/ELT RPA それぞれの違いをユースケースごとに知り、適切なサービスを選ぶ first appeared on Reckoner.