GCS（Google Cloud Storage）コネクタを作成する
2024/11/13 更新
- A：GCSからインポートする
- ①GCSにアクセスできる「サービスアカウント」を用意する。
- ②「サービスアカウント」を用意したら環境変数に登録します。
- ③「サービスアカウント」を環境変数に登録後、コネクタのGoogle Cloud Storageを選択してインポート元情報の入力画面を開きます。
- ④環境変数名の右端のコピーアイコンを押下し「サービスアカウント」項目に入力します。
- ⑤連携したいファイル情報を入力します。
- ⑥その他情報を確認する。
- B：GCSへエクスポートする
- ①GCSにアクセスできる「サービスアカウント」を用意する。
- ②「サービスアカウント」を用意したら環境変数に登録します。
- ③「サービスアカウント」を環境変数に登録後、コネクタのBigQueryを選択してエクスポート先情報の入力画面を開きます。
- ④環境変数名の右端のコピーアイコンを押下し「サービスアカウント」項目に入力します。
- ⑤エクスポート先情報を入力します。
A：GCSからインポートする
GCSからファイルをEarkまたは別の外部ツールにインポートすることが可能です。
①GCSにアクセスできる「サービスアカウント」を用意する。
当該GCSにアクセスするための「サービスアカウント」を用意する必要があります。
Google Cloudコンソールのメニュー「IAMと管理」から「サービスアカウント」を選択。
「＋サービスアカウントを作成」ボタンからサービスアカウントを作成します。
このサービスアカウントに付与する権限は＜インポート＞に記載の権限になります。
エクスポートの予定がある場合は、ストレージ管理者も付与してください。
＜インポートに必要な権限（読み取り）＞ ・ストレージ管理者 ・Storage オブジェクト 閲覧者（ストレージ管理者の権限つけた場合は不要）
＜エクスポートに必要な権限（書き込み）＞ ・ストレージ管理者
※個別バケットに権限を付与することも可能です。
②「サービスアカウント」を用意したら環境変数に登録します。
環境変数の利用方法は下記を参照してください。
※サービスアカウントを登録する際は空欄や改行を全て無くして登録する必要があります。
③「サービスアカウント」を環境変数に登録後、コネクタのGoogle Cloud Storageを選択してインポート元情報の入力画面を開きます。
③-①環境変数を選択
③-②先ほど作成した環境変数にチェックを入れます。
③-③適用ボタンを押下します。
④環境変数名の右端のコピーアイコンを押下し「サービスアカウント」項目に入力します。
※直接入力も可能ですが、セキュリティの観点から環境変数登録を推奨します。
⑤連携したいファイル情報を入力します。
⑤-①バケット名を入力
⑤-②ファイルパスを入力
インポートしたいファイルのパスを直接指定できます。 条件は前方一致となります。テキストボックスの下部に出力プレビューが表示されますので 確認してください。
ex）logs/csv-*.csv 条件にマッチするファイルを抽出して読み込みたい場合
「logs/csv-」と入力します。⑤-③カラム情報を入力
ファイルのカラム情報は正しく入力してください。
カラム情報が正しくない場合、インポート作業が完了しません。
⑤-④ヘッダースキップするか否かを選択
ヘッダーがあるファイルを連携する場合はチェックを入れてください。
チェックを入れた場合ファイル内の1行目のデータはスキップされます。
⑥その他情報を確認する。
- gzip化されている
gzip化されているファイルも連携が可能です。gzip化されている場合はチェックを入れてください。
- パターンマッチ
マッチパターンを入力することで、マッチするパターンのみ連携することが可能です。正規表現で入力してください。例）CSVファイルのみ連携する場合 「.csv$」と入力します。
B：GCSへエクスポートする
GCSへEarkまたは別の外部ツールからファイルをエクスポートすることが可能です。
①GCSにアクセスできる「サービスアカウント」を用意する。
当該GCSにアクセスするための「サービスアカウント」を用意する必要があります。
Google Cloudコンソールのメニュー「IAMと管理」から「サービスアカウント」を選択。
「＋サービスアカウントを作成」ボタンからサービスアカウントを作成します。
このサービスアカウントに付与する権限は＜エクスポート＞に記載の権限になります。
インポートの予定がある場合もこちらの権限で問題ありません。
＜インポートに必要な権限（読み取り）＞ ・ストレージ管理者 ・Storage オブジェクト 閲覧者（ストレージ管理者の権限つけた場合は不要）
＜エクスポートに必要な権限（書き込み）＞ ・ストレージ管理者
※個別バケットに権限を付与することも可能です。
②「サービスアカウント」を用意したら環境変数に登録します。
環境変数の利用方法は下記を参照してください。
※サービスアカウントを登録する際は空欄や改行を全て無くして登録する必要があります。
③「サービスアカウント」を環境変数に登録後、コネクタのBigQueryを選択してエクスポート先情報の入力画面を開きます。
③-①環境変数を選択
③-②先ほど作成した環境変数にチェックを入れます。
③-③適用ボタンを押下します。
④環境変数名の右端のコピーアイコンを押下し「サービスアカウント」項目に入力します。
⑤エクスポート先情報を入力します。
⑤-①バケット名を入力
作成済みのバケット名を入力してください。
バケットは自動作成されませんので、事前に作成する必要があります。
⑤-②ファイルパスを入力
エクスポート先のプレフィックスパスを指定できます。 エクスポートファイルの形式はCSVです。
※.csv拡張子名までは入力せず任意のファイル名までを入力します。
※エクスポートされる際は「任意のファイル名」に「000」「001」「002」…の番号が付与されます。
