S3コネクタを作成する

S3コネクタを作成する

2024/07/09 更新

  • A：S3からインポートする
  • ①S3にアクセスできる「アクセスキー」「シークレットキー」を用意する。
  • ②アクセスキーを用意したら環境変数に登録します。
  • ③アクセスキーを環境変数に登録後、コネクタのS3を選択してインポート元入力画面を開きます。
  • ④環境変数名の右端のコピーアイコンを押下し「アクセスキー」と「シークレットキー」項目に入力します。
  • ⑤連携したいファイル情報を入力します。
  • ⑥その他情報を確認する。
  • B：S3へエクスポートする
  • ①S3にアクセスできる「アクセスキー」「シークレットキー」を用意する。
  • ②アクセスキーを用意したら環境変数に登録します。
  • ③アクセスキーを環境変数に登録後、コネクタのS3を選択してエクスポート先入力画面を開きます。
  • ④環境変数名の右端のコピーアイコンを押下し「アクセスキー」と「シークレットキー」項目に入力します。
  • ⑤エクスポート先情報を入力します。

A：S3からインポートする

S3からファイルをEarkまたは別の外部ツールにインポートすることが可能です。

①S3にアクセスできる「アクセスキー」「シークレットキー」を用意する。

当該S3にアクセスするための「アクセスキー」「シークレットキー」を用意する必要があります。

IAM ユーザー認証情報を使用して認証を行う - AWS Command Line Interface

AWS CLI は、 AWS サービスとやり取りするためのコマンドを提供する AWS SDK for Python (Boto) を使用して構築されたオープンソースツールです。最小限の設定で、お好みのターミナルプログラム AWS Management Console から が提供するすべての機能の使用を開始できます。 このガイドでは、Windows、macOS、Linux AWS CLI で をインストール、設定、使用する手順について説明します。を使用して任意の AWS サービスのパブリック API AWS CLI にアクセスし、 AWS リソースを管理するスクリプトを作成する方法について説明します。

docs.aws.amazon.com

IAM ユーザー認証情報を使用して認証を行う - AWS Command Line Interface

②アクセスキーを用意したら環境変数に登録します。

環境変数の利用方法は下記を参照してください。

環境変数

2023/08/01 更新

support.eark.jp

③アクセスキーを環境変数に登録後、コネクタのS3を選択してインポート元入力画面を開きます。

image

　③-①環境変数を選択

　③-②先ほど作成した環境変数にチェックを入れます。

　③-③適用ボタンを押下します。

④環境変数名の右端のコピーアイコンを押下し「アクセスキー」と「シークレットキー」項目に入力します。

image

⑤連携したいファイル情報を入力します。

image

　⑤-①バケット名を入力

image

　⑤-②ファイルパスを入力

　インポートしたいファイルのパスを直接指定できます。 　条件は前方一致となります。テキストボックスの下部に出力プレビューが表示されますので 　確認してください。

image
ex）logs/csv-.csv 条件にマッチするファイルを抽出して読み込みたい場合 
「logs/csv-.csv」と入力します。

ex）logs/csv-*.csv 条件にマッチするファイルを抽出して読み込みたい場合 
「logs/csv-」と入力します。

　⑤-③カラム情報を入力

　ファイルのカラム情報は正しく入力してください。

　カラム情報が正しくない場合、連携がインポート作業が完了しません。

image

　⑤-④ヘッダースキップするか否かを選択

　ヘッダーがあるファイルを連携する場合はチェックを入れてください。

　チェックを入れた場合ファイル内の1行目のデータはスキップされます。

image

⑥その他情報を確認する。

  • gzip化されている

　　gzip化されているファイルも連携が可能です。gzip化されている場合はチェックを入れてください。

  • パターンマッチ

　　マッチパターンを入力することで、マッチするパターンのみ連携することが可能です。正規表現で入力してください。例）CSVファイルのみ連携する場合　「.csv$」と入力します。

B：S3へエクスポートする

S3へファイルをEarkまたは別の外部ツールからエクスポートすることが可能です。

①S3にアクセスできる「アクセスキー」「シークレットキー」を用意する。

当該S3にアクセスするための「アクセスキー」「シークレットキー」を用意する必要があります。

IAM ユーザー認証情報を使用して認証を行う - AWS Command Line Interface

AWS CLI は、 AWS サービスとやり取りするためのコマンドを提供する AWS SDK for Python (Boto) を使用して構築されたオープンソースツールです。最小限の設定で、お好みのターミナルプログラム AWS Management Console から が提供するすべての機能の使用を開始できます。 このガイドでは、Windows、macOS、Linux AWS CLI で をインストール、設定、使用する手順について説明します。を使用して任意の AWS サービスのパブリック API AWS CLI にアクセスし、 AWS リソースを管理するスクリプトを作成する方法について説明します。

docs.aws.amazon.com

IAM ユーザー認証情報を使用して認証を行う - AWS Command Line Interface

②アクセスキーを用意したら環境変数に登録します。

環境変数の利用方法は下記を参照してください。

環境変数

2023/08/01 更新

support.eark.jp

③アクセスキーを環境変数に登録後、コネクタのS3を選択してエクスポート先入力画面を開きます。

image

　③-①環境変数を選択

　③-②先ほど作成した環境変数にチェックを入れます。

　③-③適用ボタンを押下します。

④環境変数名の右端のコピーアイコンを押下し「アクセスキー」と「シークレットキー」項目に入力します。

image

⑤エクスポート先情報を入力します。

image

　⑤-①バケット名を入力

image

　⑤-②ファイルパスを入力

　エクスポート先のプレフィックスパスを指定できます。 　エクスポートファイルの形式はCSVです。

　※.csv拡張子名までは入力せず任意のファイル名までを入力します。

　※エクスポートされる際は「任意のファイル名」に「000」「001」「002」…の番号が付与されます。