近年のDX化に伴い、企業が保有するデジタルデータは増える一方となりました。そこで重要となるのはそのデータの活かし方となってきますが、データの適切な管理をしないと宝の持ち腐れとなってしまいます。本記事ではデータ管理の代表となりつつあるBigQueryとSnowflakeをみていくことでこれら自体のパフォーマンスの理解とデータの管理方法について理解を深めていきたいと思います。

まず、BigQueryとSnowflakeはDWH(データウェアハウス)の一種となります。このDWHはわかりやすく説明するとデータの空箱であり、箱からの活用をしやすくする仕組みとなり、いわゆるサービスで扱うトランザクションデータベースとは別に分析などの目的で設定されるデータベースの一種となります。中でもBigQueryとSnowflakeは近年人気のDWHとなっています。扱えるデータ容量に対して安価に済み、と同時に機械学習ツールやデータシェアリング機能などを扱うことでデータの流動性や活用スピードを上げてくれます。

では、以下でBigQueryとSnowflakeの比較をみていきましょう

SnowflakeとBigQueryの比較

それぞれの大きく異なる点を抜粋した表となります。ここからSnowflakeの方がチューニングポイントが多いということがみてとれるかと思います。では、詳細を述べていきます。

コンピューティングチューニング

Snowflakeでは図のようにsize変更が任意で可能となっており、持っているデータのサイズや集計頻度に応じて最適なサイズを選択することが可能です。

パーティション

パーティションは参照スピードをあげるために、参照時によく使うカラムを事前に予約しておくことで別途容量を確保し、参照対象をソートなどして確保しておく方法になります。Snowflakeではマイクロパーティション単位でのデータの管理をすることでデータの参照スピードをあげることができます。具体的には下に示すようにCREATE文における CLUSTER文で表すクラスターキーを使ってテーブル定義として参照しやすいカラムを指定しておくことで可能となります。

CREATE TABLE <name> ... CLUSTER BY ( <expr1> [ , <expr2> ... ] )

一方で、BIgQueryではPARTITION文を使った運用となります。

CREATE TABLE　<name> ... PARTITION BY <colummn>

これは従来のデータベースで行われるなじみのある方法とわかります。このように対比するとSnowflakeの方が柔軟な運用ができることがわかります。

ウォームキャッシュ

SnowflakeではResult cacheをする機能があります。

同じSQLの結果を再利用できるためツール利用料としてもリーズナブルになるし、結果を返すスピードが早くなります。データ更新したと言った時はキャッシュをオフするために以下のコマンドを利用することでキャッシュ利用をコントロールできます。

一方、BigQueryにはこのような機能がないため、毎回データのスキャンが走ることになります。

インフラ

BigQueryはGoogle CloudのファミリーなのでGCPのインスタンス上で機能してるものになり、これを変更することはできません。一方でSnowflakeはAWS, Azure, Google Cloudのどれでも選択が可能となります。インスタンス料金や他のクラウドサービス利用状況か選べるものになります。これが意味するところとしてはBigQueryはあくまで(Googleの)クラウドサービスなのに対してSnowflakeはSaaSという理解ができます。これはSnowflakeがデータシェアリングやそれを元にしたマーケットプレイス機能といったデータの流動性を高めることに特化していることからくる設計だと思えます。

図はSnowflake上に作られたテーブルをシェアしている図になります。このように任意のアカウントに対して参照権限をつけるだけで、あたかもデータを持っているかのように扱えます。

まとめ

DWHとしての機能としてはSnowflakeの方がチューニングポイントが多いことがわかりました。このおかげでスケーラビリティ高い運用が可能となります。またSnowflakeは高いデータ流動性機能(データシェアリング)を持っています。グループ会社間でデータシェアしたい時などに活きる機能になります。またBigQueryはGoogle Cloudのクラウドサービスとなっており、他のGoogle Cloudサービスとの相性が非常に良いことが挙げられます。Snowflakeにない点として機械学習による予測をしたい時にBigQuery MLをつかってもいいし、Vertex AIという機械学習ツールにデータを渡して利用もできます。このようにデータの活用をメインにした時もBigQueryは非常に有用な選択肢になると思われます。

当社のETLツールである「Reckoner（レコナー）」は、SnowflakeやBigQueryと連携し、文字列変換、結合・グループ化、フォーマット変換、バリデーション・フィルター、集計・四則演算などTRANSFORMATION(データの変形)を得意としており、CRM（kintone,Salesforce）やDB（AWS Aurora, CloudSQL, AzureSQL）、ストレージ（S3, Cloud Storage）などと合わせることでより強力なデータ基盤を構築することが可能になります。

Reckonerでは現在、14日間無料トライアルをご提供しておりますので、ぜひご活用ください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post Snowflake vs BigQuery徹底比較 first appeared on Reckoner.

データガバナンスはもはや実施が必要な項目となっています。この記事を読んでいるみなさまは何らかの形でデータガバナンスという言葉を聞いたことがあり、考慮が必要なことだと感じているかと思います。本記事では

• データガバナンスの必要性
• データガバナンスを実現するためにsnowflakeが貢献できること

をお伝えしていきたいと思います。

データガバナンスの重要性

近年データの流動性が高まることでデータガバナンスの重要性は増しています。それは例えば以下のようなことが挙げられます。

• 重要なデータが社外に流出するリスクを事前に考慮しているか？
• データの整形と利用を繰り返す中でマスターとなるデータの所在は明らかになっているか？
• データの取り扱いが適法もしくは規約通りとなっているか？
• データの取り扱いの責任はだれにあるのか？
• 法務と事業部やIT部門が有機的に連携できているのか？

できてないことで法務が勝手にプライバシーポリシーを変更し事業部やIT部門が後追いで対応したり、場合によってはプロジェクトが止まるリスクがあります

このようにデータのガバナンスをしないことによるリスクは年々増えていますので、この機会に一度考えてみてはいかがでしょうか？

snowflakeとは？

snowflakeとはデータウェアハウスのひとつで、さらにデータウェアハウスとは多くのデータの保管庫となります。snoflakeの利点はデータシェアリング機能に優れており、snowflake間でのデータの受け渡しは個別のETLの開発がいらず、snowflakeの純正のシェア機能によりETLを設定できることが挙げられます。またデータウェアハウスとしてのスケーラビリティに優れており、有名データウェアハウスの性能限界をさらにこえるデータ量を扱うことができることにあります。またパートナー企業から保有データに対して価値のあるデータを追加して返してくれる仕組みがあり、多くの企業が参加しているのも特徴になります。

snowflakeでできるデータガバナンス

データガバナンスでは

1. データの流動性の高い基盤構築
2. データの機密性の保持
3. データの高い可用性
4. データ利用の役割

といった観点での構築が必要となります。

snowflakeでは上記に有用な仕組みを備えています。

1に対してはデータシェアリング機能を有しており、snowflake基盤上で公開されているデータを確認できます。
（シェアリング元に申請することでさまざまなデータを利用可能）

2については※1のように列レベルでのデータアクセスの定義ができるので、秘匿性の高いデータへのアクセスの制限が可能になります。例えば雇用者データの中で年収データには特定の人にしか見せたくないといったシチュエーションを考えます。

一般的にはこのようなケースでは該当データを抜いたデータテーブル(ビュー)を作成して、必要なユーザーに参照権限をつけるといったことをします。この場合データが重複管理したりテーブルを余分に管理したりといったタスクが増えるので保守性が下がりますが、snowflakeではこの心配がなくなります。

3についてはデータベースの拡張性が高く、基盤となるメモリや容量等の設定が柔軟にできるのでスケーラビリティの高い利用が設計されています。

4については2とかぶる点がありますが、データの利用者を細かく設定できるので、誰がどのデータを閲覧可能なのか？といった管理をしやすく設定されています。

まとめ

データの利用価値を高めてくれる仕組みを多くもつデータクラウドになります。単にDWHとしての機能も可用性について優れていますが、パートナー企業のデータを利用したり、データシェアリング機能を使ってデータの参照を簡単にできたり、逆にデータ提供も簡単にできるようになります。またデータへの参照権限を列レベルで管理できるといった機密性にも優れています。

単純に大きな単位でのビッグデータを扱っている企業ももちろんですがデータに付加価値をつけてビジネスをより進めたい企業にも合っているデータクラウドということができます。

参考

※1: https://docs.snowflake.com/ja/user-guide/security-column-intro.html

Reckonerではソース(シンク)選択にプリセットされているのでSnowflakeとのパイプラインの構築が簡単にできます。前章に合致している企業様はReckonerによる構築を一度ご検討をしてみてはいかがでしょうか？

Reckonerでは現在、14日間無料トライアルをご提供しておりますので、ぜひご活用ください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post データガバナンスをどう守る？Snowflake編 first appeared on Reckoner.

目次

• (1)シナリオ1: Snowflake → ETL → Excel, CSV
• (2)シナリオ2: Snowflake → ETL → RDB
• (3)シナリオ3: Excel, CSV → ETL → Snowflake
• (4)シナリオ4: Salesforce → ETL → Snowflake
• (5)シナリオ5: Kintone → ETL → Snowflake
• 「Reckoner」でさらなるSnowflake活用を

(1)シナリオ1: Snowflake → ETL → Excel, CSV

Snowflakeに格納されたデータを、ETLで抽出・変換した後に、ExcelやCSVなどで出力するシナリオです。

分析が完了したデータのサマリを、ExcelやGoogleスプレッドシートで見やすい形で広く共有し、最新のデータの確認や傾向の確認を行う場合に最適です。ETL上でデータを変換することで、「Snowflakeに格納されている表示形式そのまま」ではなく、「データを確認する人や部門にとって最も分かりやすい表示形式」に変換してから共有できるため、効率的です。

(2)シナリオ2: Snowflake → ETL → RDB

Snowflake上にあるデータを、ETLで抽出・変換した後に、MySQLやPostgreSQLなどのRDBにロードするという方法です。

Snowflake上のデータを、RDBにロードして別システムで利用したい、特定の用途のためにデータをDWHから抽出したい、といった場合などに最適です。Snowflake上のデータを、ETL上で「移管先システムで最適なデータ形式」となるように変換した後に、RDBに格納します。これにより、手動のデータ処理が一切不要となります。

(3)シナリオ3: Excel, CSV → ETL → Snowflake

ExcelやCSVで保持しているデータを、ETLを介してSnowflakeに格納する方法です。

例えば、ExcelやCSVの形で保持している顧客情報や売上情報を、Snowflake上のデータに追加する場合です。Snowflakeについて知識のない人が、ExcelやCSVファイル上のデータを適切な形で、Snowflake上の既存のデータセットに追加するのは、容易ではありません。また、こうした作業を行うために都度情報システム部門に依頼するのも「気が引ける」と思う担当者も多いでしょう。

ETLを利用することで、Snowflakeのダッシュボードにログインすることなく、ExcelやCSVデータを抽出・変換したのちに、Snowflakeに正しくデータを追加できます。

(4)シナリオ4: Salesforce → ETL → Snowflake

Salesforce上のデータを、Snowflakeに格納して分析可能とする際に、ETLを活用できます。SalesforceとSnowflake間にはコネクターが提供されていますが、分析を容易に行うために、SalesforceのデータをそのままSnowflakeにロードするのでなく、変換が必要となる場合があります。

こうした場合は、ETLを介してデータの変換ロジックを設定し、そのロジックに従って処理させることで、Salesforce側もSnowflake側も追加のデータ処理が不要となります。

(5)シナリオ5: Kintone → ETL → Snowflake

Kintoneで稼働するアプリケーションやワークフローのデータを、ETLで変換した後に、Snowflakeに格納するシナリオです。

Kintoneのデータベースは、一般的なRDBと異なる仕様となっていますが、ETLを用いることでデータベースの内部的な違いを意識することなく、必要な形に加工した後にSnowflakeにロードできます。

「Reckoner」でさらなるSnowflake活用を

今回は、Snowflakeを導入している組織がETLを利用するシナリオとして、多く利用されている5つのシナリオについてお届けしました。

ETLを利用すると、Snowflakeへのデータロード（ならびロード時の変換）、そしてSnowflakeからのデータ抽出（ならび抽出時のデータ変換）がより容易かつ効率的に行えるようになります。結果、「データを分析する」「抽出したデータをもとに議論する」といった、本当に重要な業務により多くの時間を割く事が可能となります。

当社が開発する「Reckoner」は、非エンジニアであってもブラウザ上でデータ処理が行えるETLです。プログラミング不要のため、情報システム部門に都度処理を依頼することなく、データを必要な部門の担当者が「必要なそのタイミング」でデータ処理が可能となります。Snowflake以外のDWH製品（Amazon Redshift, Google BigQueryなど）にも対応するため、複数のDWH製品を稼働させている企業での利用も効果的です。

ぜひ、Reckonerの資料をダウンロードいただき、ご検討ください。

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post SnowflakeユーザーがETLを利用する5つのシナリオ first appeared on Reckoner.

企業ではサービスがデジタル環境で提供されたり、DXが進むにつれデータの増加が避けられない状況であり、データをうまく使えることが必須条件となりつつあります。データが増える要因をあげると

• webサイトへの流入から売上への導線を強化したい。その際Google Analyticsを使ったwebサイトの利用分析をする
• サービサイト(web)での顧客の行動分析をするためにwebサイトの各ページにJavascriptの設置によってサーバにアクションデータを蓄積した
• 商品棚にNFCタグを設置し、商品の移動や設置と共にスマートフォンのなどデバイスを経由してデータが貯まるようにした
• スマートフォンアプリのGPS情報に依って提供サービスを変える仕組みを開発した。そのため数秒おきにGPS情報がサーバに貯まる

この他にサービスの提供や工場での稼働状況などオンラインで瞬時にデータが貯まる仕組みが普及しており、これらのデータを適切に貯めて利用するサイクルが必要になっています。本記事で説明するSnowpipeはSnowflakeというクラウド上でデータを貯めて利用する仕組みへのデータの伝達の便利な方法になります。

以降ではなぜSnowflakeなのか、といったことからSnowpipeの利用方法についてご説明していきます

Snowflakeとは？

Snowflakeとはデータクラウドと称されるDWHを基盤としたデータエコシステムの仕組みを持った製品になります。

まずSnowflakeはDWHとして大規模データを扱うのに長けたツールになります。これは時として有名なクラウドDWHの性能限界をもしのぐ量を扱えるほど柔軟にスケーラビリティの性能を持っています。

またデータエコシステムとは、マーケットプレイス機能とシェアリング機能が充実していることにあります。シェアリング機能は、クラウドサービス上に立てられたSnowflake間のデータ連携を簡潔に行うサービスになり、データパイプライン設計を大幅に省くことが可能になります。

マーケットプレイスでは他社のデータを買うことが可能な機能となっています。

例えばA社のデータが必要な場合、A社とサービスを契約し、Snowflakeマーケットプレイスで必要な手続きをすることでデータを連携し、A社のデータを紐づけて返す仕組みが多くとられています。

このようにデータを貯めることからデータの流動性を高めてデータの価値をあげるには非常に有用なツールということができます。続けてこの操作を実行するSnowpipeの説明をすることでpipelineの開発が簡単であることを実感してもらいたいと思います。

Snowpipeとは？

SnowpipeとはSnowflakeのテーブルに対して継続的にデータをロードする仕組みになります。

• AWS S3に置かれたファイルをSnowflakeのテーブルにcopyする
• google cloud storageに置かれたファイルをSnowflakeのテーブルにcopyする

上記を応用することでAWS RDSに更新されたデータをSnowflakeにcopy (※厳密にはAWS DMSを使って検知)することができたり、Google Cloud(GC) BigQueryに更新されたデータをSnowflakeテーブルに更新することができます(※PIPE実行例)。

このようにすることでwebサービスから生み出されたデータをトランザクションデータベース(AWS RDSなど)へデータを更新し、この更新分をSnowflakeへDWHとしてデータの追加をすることで巨大な過去分のデータを集計かけたり、マートテーブルを作ってBIに投影することが可能になります(※トランザクションテーブルでの集計はサービスへのトラブルを起こすので、サービスと切り離された環境で集計をするといった環境を想定しています)。

CREATE PIPE PIPE_CATALOG.PIPE_SCHEMA.PIPE_NAME AUTO_INGEST=TRUE AS
COPY INTO PIPE_CATALOG.PIPE_SCHEMA.TABLE
FROM <S3 stage>
FILE_FORMAT = (TYPE = 'JSON')
;

※PIPE実行例

CREATE OR REPLACE TABLE PIPE_CATALOG.PIPE_SCHEMA.TABLE (
transaction VARIANT
);

※上記データの更新対象テーブルスキーマ

※さらに実行例をご参照したい方は公式ページ(※2)のShowpipe DDLコマンドをご覧いただくと操作の具体イメージが湧くと思いますので是非チャレンジしてみてください

SnowpipeはETLに有用なのか？

ETLはEXTRACTION(データ抽出), TRANSFORMATION(データの変形), LOAD(データのテーブルへの格納)をさします。

ETLツールはこのETLそれぞれの機能に強みを持つことで特徴を持ちます。Snowpipeは上記の通り、SnowflakeでのデータのLOADを簡潔にできる機能となります。

またTRANSFORMATIONはSnowflakeのテーブル操作によって大規模データを操作できることになるので、SnowflakeのエコシステムによりETL全体の管理をしやすくなるといえます。

当社のETLツールである「Reckoner（レコナー）」は、Snowflakeと連携し、文字列変換、結合・グループ化、フォーマット変換、バリデーション・フィルター、集計・四則演算などTRANSFORMATION(データの変形)を得意としており、SnowflakeやSnowpipeと合わせることでより強力なデータ基盤を構築することが可能になります。

Reckonerでは現在、14日間無料トライアルをご提供しておりますので、ぜひご活用ください。

参考

※1: https://docs.snowflake.com/ja/user-guide/secure-data-sharing-across-regions-plaforms.html

※2: https://docs.snowflake.com/ja/user-guide/data-load-snowpipe-intro.html

ETLツールについて詳しく知りたい、ETLツールの選び方を知りたいという方はこちらの「ETLツールとは？選び方やメリットを解説」をぜひご覧ください。

The post SnowpipeはETLとしてどう活用できるか？ first appeared on Reckoner.