AWS S3のデータをSnowflakeに連携する際の課題・現状
AWS S3にある固定長ファイルを、都度エンジニアがSQLを書いて必要な文字列を切り出し、Snowflakeに書き込みをしている。
SQLを記述でき、データウェアハウスを操作できる人材が不足しているため、エンジニアへの負荷が大きい。
Reckoner（レコナー）導入の効果
-
ツール間の連携が自動化でき作業工数を削減できた
-
固定長ファイルの加工を自動化でき作業ミスがなくなった
-
エンジニアでなくとも操作を行えるのでリソース不足が解消された
AWS S3とSnowflakeの簡単な自動連携方法
-
STEP1
接続設定
-
Reckoner（レコナー）が、データソースとなるAWS S3と、データ転送先となるSnowflakeにアクセスできるようにするため、ログイン情報入力やOauth設定をおこなう。
-
-
STEP2
データ加工・変換
-
SQLを記述することなく、Reckoner（レコナー）の画面上のマウス操作のみで、AWS S3の固定長ファイルの文字列を切り出す。
-
-
STEP3
ワークフロー作成・データ連携
-
検証環境を用意することなく、Reckoner（レコナー）の画面上で処理結果のプレビューをぱっと確認。バッチ制作不要で、AWS S3とSnowflakeを繋いでデータの流れを作成する。
-
Reckonerでの解決ポイント
-
SQL不要で文字列の切り出しが可能！
