🪛

BigQuery連携(β)

 

概要

YESODの全量データをSDC Type 2の形式でBigQueryに連携する手順をご説明します。YESODに登録しているメンバー情報、会社情報、組織情報、事業所情報、プロジェクト情報をBigQueryに連携することができます。
※本機能はβリリースとなっております。今後仕様変更の可能性がございます。
 

1. YESOD側で準備する情報

2.1 BigQueryにデータセットを「yesod」という名前で作成

Bigqueryを開き、任意プロジェクトでデータセットを作成を選択します。
  • データセットIDに「yesod」を入力します。
  • リージョンに「asia-northeast1(東京)」を設定します。
  • 「データセットを作成」を押して、データセットを作成します。

2.2 Cloud Run ジョブでジョブを作成

Cloud Runの「ジョブメニュー」を開き、コンテナをデプロイを選択します。
 
  • コンテナイメージのURLに
  を指定します。
  • リージョンに「asia-northeast1(東京)」を設定します。
  • 変数とシークレットのタブを開き、変数を追加ボタンを押し、名前1に「YESOD_API_KEY」を、値1に「1.1」で取得したYESODのAPIキーを入力します。
 
環境変数(任意)
  • 環境変数:「EXPORT_TYPE」
    • メンバー情報を出力するときには「EXPORT_TYPE」の環境変更の設定は不要です
    • 下記複数の対象情報をBigQuery連携する場合は、必要な対象情報ごとにコンテナのデプロイを実行する必要があります
対象情報
メンバー情報環境変数を指定しない
会社情報companies
組織情報organizations
事業所情報offices
プロジェクト情報projects
 
  • 環境変数「EXPORT_ATTRIBUTES」
    • 出力項目を制限する場合には、値にカンマ区切りでYESODのattributeIdを入力します。
    • EXPORT_ATTRIBUTESを指定しない場合は、すべての項目が出力されます。
 
  • 環境変数「EXPORT_INCLUDE_ATTRIBUTE_ID」
    • フィールド名にAttributeIdを含めることができ、値に「1」を設定することでフィールド名を「項目名_AttributeId」に変更することができます
    • メンバー情報についてはこちらの環境変数は未対応となっています
対象情報フィールドに項目のみ表示させるときの値フィールドに項目とAttributeIdを表示させるときの値
会社情報環境変数を指定しない1
組織情報環境変数を指定しない1
事業所情報環境変数を指定しない1
プロジェクト情報環境変数を指定しない1
 
  • 環境変数「YESOD_HOSTNAME」
対象環境
本番環境環境変数を指定しない
ステージング環境staging.yesod.io

2.3 Cloud Run ジョブでジョブを実行

作成したジョブを実行を押してCloud Runジョブを実行します。
定期実行したい場合は、ジョブの詳細画面からトリガー->スケジューラトリガーを追加で、日次実行の設定を行います。
 
実行が成功しますと、Bigqueryのyesodデータセット下にテーブル(members、companies、organizations、offices、projectsのいずれか)が作成され、データが格納されます。
 
複数のテーブル(members、companies、organizations、offices、projects)を設定する場合は、2.2〜2.3の手順を繰り返してください