BigQueryコネクタを作成する

BigQueryコネクタを作成する

2024/09/12 更新

A:BigQueryからインポートする

BigQueryからデータをEarkまたは別の外部ツールにインポートすることが可能です。

①BigQueryにアクセスできる「サービスアカウント」を用意する。

当該BigQueryにアクセスするための「サービスアカウント」を用意する必要があります。

Google Cloudコンソールのメニュー「IAMと管理」から「サービスアカウント」を選択。

image

「+サービスアカウントを作成」ボタンからサービスアカウントを作成します。

image

このサービスアカウントに付与する権限は<インポート>に記載の権限になります。

エクスポートの予定がある場合は、BigQueryデータ編集者も付与してください。

<インポートに必要な権限> ・BigQueryジョブユーザー ・BigQueryデータ閲覧者(または編集者)

<エクスポートに必要な権限> ・BigQueryジョブユーザー ・BigQueryデータ編集者(編集者の中に閲覧者権限も含む)

②「サービスアカウント」を用意したら環境変数に登録します。

環境変数の利用方法は下記を参照してください。

※サービスアカウントを登録する際は空欄や改行を全て無くして登録する必要があります。

③「サービスアカウント」を環境変数に登録後、コネクタのBigQueryを選択してインポート元情報の入力画面を開きます。

image
image
image

 ③-①環境変数を選択

 ③-②先ほど作成した環境変数にチェックを入れます。

 ③-③適用ボタンを押下します。

④環境変数名の右端のコピーアイコンを押下し「サービスアカウント」項目に入力します。

image

⑤連携したいデータ情報を入力します。

image

 ⑤-①プロジェクトIDを入力

 ⑤-②データロケーションを入力

 インポートしたいデータがあるデータセットのロケーションを入力します。

image

 ⑤-③クエリを入力

 インポートしたいデータをクエリで指定します。

 必ず検証済みのクエリを貼り付けてください。このページでは動作確認ができません。

 ⑤-④以前まわしたキャッシュを利用するか否かを選択

 インポート元データの構成に変更がなければクエリコストを節約できます。

 ⑤-⑤SQLの記述方法を選択

 デフォルトはstandardSQLが選択されています。

B:BigQueryへエクスポートする

BigQueryへEarkまたは別の外部ツールからデータやファイルをエクスポートすることが可能です。

①BigQueryにアクセスできる「サービスアカウント」を用意する。

当該BigQueryにアクセスするための「サービスアカウント」を用意する必要があります。

Google Cloudコンソールのメニュー「IAMと管理」から「サービスアカウント」を選択。

image

「+サービスアカウントを作成」ボタンからサービスアカウントを作成します。

image

このサービスアカウントに付与する権限は<エクスポート>に記載の権限になります。

インポートの予定がある場合もこちらの権限で問題ありません。

<インポートに必要な権限> ・BigQueryジョブユーザー ・BigQueryデータ閲覧者(または編集者)

<エクスポートに必要な権限> ・BigQueryジョブユーザー ・BigQueryデータ編集者(編集者の中に閲覧者権限も含む)

②「サービスアカウント」を用意したら環境変数に登録します。

環境変数の利用方法は下記を参照してください。

※サービスアカウントを登録する際は空欄や改行を全て無くして登録する必要があります。

③「サービスアカウント」を環境変数に登録後、コネクタのBigQueryを選択してエクスポート先情報の入力画面を開きます。

image

 ③-①環境変数を選択

 ③-②先ほど作成した環境変数にチェックを入れます。

 ③-③適用ボタンを押下します。

④環境変数名の右端のコピーアイコンを押下し「サービスアカウント」項目に入力します。

image

⑤エクスポート先情報を入力します。

image

 ⑤-①エクスポート先BigQueryのプロジェクトIDを入力

 ⑤-②データロケーションを入力

 エクスポート先データセットのロケーションを入力します。

image

 ⑤-③エクスポート先データセット名

 ⑤-④エクスポート先テーブル

 例)test_tableというテーブルにアウトプットしたい場合 「test_table」と入力します。

 例)test_tableというテーブル名に日付を追加してアウトプットしたい場合   

  「test_table_%Y%m%d」と入力します。

 ⑤-⑤エクスポート形式

 「テーブルに追加する」または「テーブルを上書きする」のどちらかを選択します。

 ⑤-⑥テーブル作成

 テーブルが存在しなかった場合、自動でテーブルを作成する場合はチェックを入れます。