🪛

BigQuery連携(β)

 

概要

YESODの全量データをSDC Type 2の形式でBigQueryに連携する手順をご説明します。
※本機能はβ番となっております。今後仕様変更の可能性があります。
 

1. YESOD側で準備する情報

2.1 BigQueryにデータセットを「yesod」という名前で作成

Bigqueryを開き、任意プロジェクトでデータセットを作成を選択します。
  • データセットIDに「yesod」を入力します。
  • リージョンに「asia-northeast1(東京)」を設定します。
  • 「データセットを作成」を押して、データセットを作成します。

2.2 Cloud Run ジョブでジョブを作成

Cloud Runの「ジョブメニュー」を開き、コンテナをデプロイを選択します。
 
  • コンテナイメージのURLに
  を指定します。
  • リージョンに「asia-northeast1(東京)」を設定します。
  • 変数とシークレットのタブを開き、変数を追加ボタンを押し、名前1に「YESOD_API_KEY」を、値1に「1.1」で取得したYESODのAPIキーを入力します。
  • (任意)出力項目を制限する場合には、変数「EXPORT_ATTRIBUTES」を追加し、値にカンマ区切りでYESODのattributeIdを入力します。
  • EXPORT_ATTRIBUTESがない場合は、すべての項目が出力されます。
 

2.3 Cloud Run ジョブでジョブを実行

作成したジョブをの実行を押してCloud Runジョブを実行します。
定期実行したい場合は、ジョブの詳細画面からトリガー->スケジューラトリガーを追加で、日次実行の設定を行います。
 
実行が成功しますと、bigqueryのyesodデータセット下にmembersテーブルが作成され、データが格納されます。