変換処理から外部データ基盤への配信までを接続

オンチェーンデータ基盤を提供するDuneは4月3日、同社の「dbt Connector」で構築したデータモデルを、「Datashare」を通じてSnowflakeやBigQueryへ同期する「dbt to Datashare」を発表しました。Dune上でオンチェーンデータを抽出・加工し、利用企業のクラウドデータウェアハウスへ届けるまでの工程を一つのワークフローとして接続します。

dbt Connectorは、データ変換ツール「dbt」からDuneSQLへ接続し、Duneが収録するブロックチェーンデータを基に独自のテーブルを作成できる企業向け機能です。プロトコルやチェーンの絞り込み、複数テーブルの結合、ウォレット群ごとの集計など、各社の分析目的に応じた変換ロジックをdbtモデルとして管理できます。

dbtの実行後に同期処理を自動登録

利用者がDune内の専用領域で通常テーブルまたは増分モデルを構築すると、dbtのpost-hookが同期用のSQLを実行し、対象テーブルをDatashareへ登録します。その後はDuneが同期処理を管理し、加工済みデータを設定済みのSnowflakeまたはBigQuery環境へ送ります。

増分モデルにも対応するため、更新のたびにテーブル全体を作り直すのではなく、新規データや変更部分を反映する運用が可能です。同期状況や実行履歴はDune内のシステムテーブルから確認でき、モデルの削除や同期設定の解除を含むライフサイクル管理もSQLで行えます。

これまでDuneのデータを外部環境で利用する場合、事前に用意されたテーブルをデータウェアハウスへ取り込み、その後に企業側の基盤で用途別の変換処理を組み立てる運用が一般的でした。dbt to Datashareでは、必要なチェーンやプロトコルをDune上で選別し、業務ロジックを適用したテーブルだけを同期できるため、不要なデータの転送や外部環境での前処理を抑えられます。

社内データとの統合を想定した企業向け機能

同期されたテーブルは、SnowflakeやBigQuery上で通常のデータセットとして扱えるため、企業が保有する顧客管理情報、取引履歴、プロダクト利用データなどと組み合わせて分析できます。オンチェーン上のウォレット行動と自社サービスの利用状況を照合するほか、取引監視や会計、プロダクト分析に利用するデータセットの構築も想定されます。

本機能は、Data TransformationsとDatashareが有効になっているEnterprise契約のチームが対象です。利用には書き込み権限を持つDune APIキーや、DuneのTrino Connectorを利用するdbtプロジェクトが必要となります。また、Datashareの同期には転送量と同期先に保存されるデータ容量に応じた料金が発生するため、Duneは同期前に対象テーブルのサイズを確認する手順も案内しています。

Duneは、ダッシュボードを中心としたオンチェーン分析環境から、データ変換と企業システムへの配信までを担う基盤へ機能を広げています。今回の連携により、既にdbtとクラウドデータウェアハウスを運用している企業は、既存の開発手法を維持しながら、オンチェーンデータを社内の分析工程へ組み込みやすくなります。