2024/07/09 更新
- コネクタとは？
- A：コネクタをGUIで作成する
- ①コネクタ作成
- ②コネクタ編集
- ③コネクタ削除
- B：コネクタをエディタ画面で作成する
- ①コネクタ作成
- ②コネクタ編集
- ③コネクタ削除
- Earkのコネクタで利用している「Embulk」について
コネクタとは？
コネクタとは、「Earkと外部ツールを連携」したり、「Earkから外部ツール同士の連携」を行うときに利用します。
EarkのコネクタはオープンソースのEmbulkを利用しており、高速処理が可能となっております。操作画面には、ボタンだけで直感的に操作が行えるGUI画面と、エディタ画面のどちらもご用意しております。また例えばAmazonS3→AmazonS3等、Earkを通さずファイル転送いただくことも可能ですので、ETLツールとしてもご活用いただけます。
A：コネクタをGUIで作成する
ジョブ＞コネクタにアクセスすると、コネクタの「作成、編集、削除」を行うことができます。コネクタの作成は「GUI」、「エディタ」どちらも選択が可能です。
「GUIでコネクタ新規作成」ではボタン操作にてコネクタを作成することが可能です。
①コネクタ作成
- 「コネクタ新規作成」ボタンを押下
- 「コネクタ新規作成」を押下すると表示される「GUIでコネクタ新規作成」を押下
- インポート元で利用するコネクタを選択します。
- インポート元のコネクタの種類は順次追加予定です。
- 各コネクタごとに必要項目を入力します。
- エクスポート先のコネクタを選択します。
- エクスポート先のコネクタの種類は順次追加予定です。
- 各コネクタごとに必要項目を入力します。
- 全て入力後、保存ボタンを押します。
- コネクタが作成できました。
②コネクタ編集
- 対象のコネクタ右側の「･･･」を選択し、編集ボタンを押下または、直接該当のコネクタレコードを押下します。
③コネクタ削除
- 対象のコネクタ右側の「･･･」を選択し、削除ボタンを押します。
- コネクタ削除モーダルの削除ボタンを押します。
B：コネクタをエディタ画面で作成する
ジョブ＞コネクタにアクセスすると、コネクタの「作成、編集、削除」を行うことができます。コネクタの作成は「GUI」、「エディタ」どちらも選択が可能です。
「エディタでコネクタ新規作成」では、直接スクリプトを書くことによってコネクタを作成することが可能です。
①コネクタ作成
- 「コネクタ新規作成」ボタンを押下
- 「コネクタ新規作成」を押下すると表示される「エディタでコネクタ新規作成」を押下
- コネクタ名、説明を入力し環境変数を使用してスクリプト作成をします。
- inは入力先のスクリプトoutは出力先になります。
- スクリプト作成後、保存ボタンを押します。
②コネクタ編集
- 対象のコネクタ右側の「･･･」を選択し、編集ボタンを押します。
③コネクタ削除
- 対象のコネクタ右側の「･･･」を選択し、削除ボタンを押します。
- コネクタ削除モーダルの削除ボタンを押します。
Earkのコネクタで利用している「Embulk」について
EarkでのコネクターはEmbulkを使用しています。
Embulkのバージョン
v0.9.25
EmbulkにインストールされているPluginは以下です。
activesupport (5.2.3)
addressable (2.7.0)
bundler (1.16.0)
concurrent-ruby (1.2.3)
declarative (0.0.20)
declarative-option (0.1.0)
did_you_mean (default: 1.0.1)
domain_name (0.5.20190701)
elasticsearch (7.5.0)
elasticsearch-api (7.5.0)
elasticsearch-transport (7.5.0)
embulk (0.9.25 java)
embulk-decoder-command (0.2.0)
embulk-decoder-commons-compress (0.6.0 java)
embulk-decoder-exec (0.1.0)
embulk-decoder-lz4 (0.1.0)
embulk-decoder-lzo (0.1.2)
embulk-decoder-remove_nonstandard_utf8_bytes (0.1.0)
embulk-encoder-command (0.1.0)
embulk-encoder-commons-compress (0.2.1 java)
embulk-encoder-encrypted_zip (0.1.1)
embulk-encoder-lz4 (0.1.0)
embulk-encoder-pgp_encryption (0.1.0)
embulk-encoder-xz (0.1.0)
embulk-executor-mapreduce (0.3.0)
embulk-executor-mapreduce_2_6 (0.4.0)
embulk-executor-mapreduce_2_7 (0.4.0)
embulk-filter-add_time (0.3.1 java)
embulk-filter-affix (0.1.0)
embulk-filter-azure_computer_vision_api (0.1.3)
embulk-filter-base58 (0.1.3)
embulk-filter-base64 (0.2.0)
embulk-filter-calc (0.2.0 java)
embulk-filter-calcite (0.5.1 java)
embulk-filter-column (0.9.0 java)
embulk-filter-convert_unicode_sequence_to_string (0.1.1)
embulk-filter-copy (0.2.0 java)
embulk-filter-crawler (0.1.3)
embulk-filter-distinct (0.0.4)
embulk-filter-encrypt (0.3.0 java)
embulk-filter-eval (0.1.0)
embulk-filter-expand_json (0.6.0 java)
embulk-filter-flatten_json (0.1.0 java)
embulk-filter-google_translate_api (0.2.1)
embulk-filter-google_vision_api (0.2.3)
embulk-filter-gsub (0.2.0)
embulk-filter-hash (0.5.0)
embulk-filter-icu4j (0.3.1)
embulk-filter-insert (1.1.1)
embulk-filter-join_file (0.0.2)
embulk-filter-json_key (0.0.2)
embulk-filter-json_key_joiner (0.1.0)
embulk-filter-jsoncolumn (0.1.0)
embulk-filter-key_in_redis (0.1.3)
embulk-filter-kuromoji (0.5.0)
embulk-filter-mask (0.2.1)
embulk-filter-null_string (0.2.0 java)
embulk-filter-pherialize (0.0.1)
embulk-filter-protobuf (0.1.0)
embulk-filter-query_string (0.2.1)
embulk-filter-query_string_ruby (0.1.11)
embulk-filter-rearrange (0.1.0)
embulk-filter-reverse_geocoding (0.1.0)
embulk-filter-row (0.6.1 java)
embulk-filter-ruby_proc (0.8.1)
embulk-filter-script (0.0.1)
embulk-filter-script_ruby (0.1.3)
embulk-filter-speedometer (0.3.5)
embulk-filter-split_column (0.1.3)
embulk-filter-stdout (0.1.0)
embulk-filter-strip_html_tags (0.2.0)
embulk-filter-timestamp_format (0.4.0 java)
embulk-filter-timestamp_hs (0.1.0)
embulk-filter-to_csv (0.0.1)
embulk-filter-to_json (0.1.0 java)
embulk-filter-typecast (0.3.0 java)
embulk-filter-unique (0.1.0)
embulk-filter-url_encode (0.1.0)
embulk-filter-woothee (0.3.0)
embulk-formatter-avro (0.2.1)
embulk-formatter-fast_jsonl (0.1.2)
embulk-formatter-geojson (0.1.0)
embulk-formatter-html_table (0.1.0)
embulk-formatter-jsonl (0.1.4)
embulk-formatter-markdown_table (0.1.0)
embulk-formatter-poi_excel (0.1.2)
embulk-formatter-single_value (0.3.1)
embulk-formatter-sprintf (0.1.0)
embulk-input-apache-dummy-log (0.1.0)
embulk-input-aster (0.1.5)
embulk-input-athena (0.1.7)
embulk-input-azure_blob_storage (0.3.1 java)
embulk-input-bigquery (0.1.0)
embulk-input-bigquery_extract_files (0.0.14)
embulk-input-clickhouse (0.1.1)
embulk-input-cloudwatch_logs (0.1.1)
embulk-input-command (0.1.4)
embulk-input-datastore (0.1.3)
embulk-input-db2 (0.11.1 java)
embulk-input-dynamodb (1.0.4 java)
embulk-input-filesplit (0.1.4)
embulk-input-firestore (0.0.1)
embulk-input-ftp (0.4.0 java)
embulk-input-gcs (0.4.1 java)
embulk-input-gmail (0.1.0)
embulk-input-google_analytics (0.1.24)
embulk-input-google_spreadsheets (1.1.1)
embulk-input-hdfs (0.3.2)
embulk-input-http (0.25.0 java)
embulk-input-inline (0.1.0)
embulk-input-intersystems_cache (0.1.0)
embulk-input-jdbc (0.13.2 java)
embulk-input-jira (0.3.0 java)
embulk-input-jstat (0.0.3)
embulk-input-kafka (0.2.0 java)
embulk-input-kintone (0.1.5)
embulk-input-lkqd (0.8.1)
embulk-input-marketo (0.6.25 java)
embulk-input-mongodb (0.8.2 java)
embulk-input-mysql (0.13.2 java)
embulk-input-oracle (0.11.1 java)
embulk-input-parquet_hadoop (0.1.1)
embulk-input-pcapng-files (0.1.5)
embulk-input-postgresql (0.13.2 java)
embulk-input-presto (0.2.5)
embulk-input-random (0.0.2)
embulk-input-randomj (0.6.0 java)
embulk-input-redash (0.1.3)
embulk-input-redis (0.1.6)
embulk-input-rediskeys (0.2.0)
embulk-input-redshift (0.13.2 java)
embulk-input-remote (0.4.2)
embulk-input-riak_cs (0.5.3 java)
embulk-input-s3 (0.6.0 java)
embulk-input-salesforce_bulk (0.2.3)
embulk-input-search_analytics (0.1.0)
embulk-input-sendgrid (0.1.2)
embulk-input-sequence (0.1.0)
embulk-input-sftp (0.4.0 java)
embulk-input-slack-history (0.1.1)
embulk-input-slack_message (0.1.0)
embulk-input-soracom_harvest (0.1.0)
embulk-input-sparql (0.0.2)
embulk-input-sql (0.1.0)
embulk-input-sqlserver (0.13.2 java)
embulk-input-stripe (0.2.0)
embulk-input-swift (0.1.0)
embulk-input-td (0.2.3)
embulk-input-teradata (0.1.2)
embulk-input-twitterarchive (0.1.0)
embulk-input-vertica (0.1.2)
embulk-input-yelp (0.2.5 java)
embulk-input-zendesk (0.4.3 java)
embulk-input-zendesk_guide (0.1.2)
embulk-output-aerospike (0.4.0)
embulk-output-analytics_cloud (0.1.1)
embulk-output-aster (0.0.2)
embulk-output-azure_blob_storage (0.2.1 java)
embulk-output-azuresearch (0.1.1)
embulk-output-bigobject (0.4.6)
embulk-output-bigquery (0.6.7)
embulk-output-cassandra (0.5.0 java)
embulk-output-command (0.1.4)
embulk-output-db2 (0.9.0 java)
embulk-output-documentdb (0.1.1)
embulk-output-dynamodb (0.1.5)
embulk-output-elasticsearch (0.6.0 java)
embulk-output-elasticsearch5 (0.1.7)
embulk-output-elasticsearch_1.x (0.1.8.1)
embulk-output-elasticsearch_using_url (0.1.2)
embulk-output-embulk_output_domo (0.3.5)
embulk-output-fluentd (0.1.0)
embulk-output-ftp (0.3.0 java)
embulk-output-gcs (0.6.0 java)
embulk-output-google_analytics (0.1.0)
embulk-output-google_sheets_ruby (0.1.4)
embulk-output-google_spreadsheets (0.2.0)
embulk-output-hdfs (0.3.0)
embulk-output-jdbc (0.10.6 java)
embulk-output-kafka (0.3.1 java)
embulk-output-larges3 (0.1.7)
embulk-output-mailchimp (0.3.31)
embulk-output-mongodb_nest (0.1.3)
embulk-output-mysql (0.10.6 java)
embulk-output-oracle (0.9.0 java)
embulk-output-orc (0.3.5)
embulk-output-parquet (0.6.0)
embulk-output-postgres-json (0.2.0)
embulk-output-postgres-udf (0.2.0)
embulk-output-postgresql (0.10.6 java)
embulk-output-redis (0.1.6)
embulk-output-rediskeys (0.1.0)
embulk-output-redshift (0.10.6 java)
embulk-output-s3 (1.7.1 java)
embulk-output-s3_parquet (0.5.2 java)
embulk-output-s3_per_record (0.4.0)
embulk-output-salesforce (0.1.4)
embulk-output-sftp (0.3.1 java)
embulk-output-slack_file_upload (0.2.0)
embulk-output-sqlite3 (0.0.1)
embulk-output-sqlserver (0.10.6 java)
embulk-output-swift (0.1.0)
embulk-output-td (0.8.1 java)
embulk-output-teradata (0.1.3)
embulk-output-trafodion (0.1.1)
embulk-output-utf8parquet (1.1.11)
embulk-output-vertica (0.7.4)
embulk-parser-apache-custom-log (0.4.1)
embulk-parser-apache-log (0.1.2)
embulk-parser-apache_error_log (0.1.2)
embulk-parser-avro (0.5.0 java)
embulk-parser-csv_guessable (0.2.0)
embulk-parser-csv_with_default_value (0.1.0)
embulk-parser-csv_with_schema_file (0.0.2)
embulk-parser-firebase_avro (0.1.3)
embulk-parser-fixed (0.1.0)
embulk-parser-fluent-s3-log (0.0.1)
embulk-parser-fluentd_out_file (0.1.0)
embulk-parser-grok (0.1.7)
embulk-parser-jdbc-schema-csv (0.0.1)
embulk-parser-joni_regexp (0.1.0)
embulk-parser-json (0.0.7)
embulk-parser-jsonl (0.2.1)
embulk-parser-jsonline (0.2.2)
embulk-parser-jsonpath (0.4.1 java)
embulk-parser-ltsv (0.1.1)
embulk-parser-mahout (0.0.1)
embulk-parser-msgpack (0.6.0 java)
embulk-parser-mysqldump_tab (0.1.1)
embulk-parser-none (0.2.0)
embulk-parser-none-bin (0.2.0)
embulk-parser-pcapng (0.1.0)
embulk-parser-poi_excel (0.1.13)
embulk-parser-query_string (0.3.2)
embulk-parser-regex (0.2.1)
embulk-parser-roo-excel (0.0.1)
embulk-parser-sisimai (0.1.1)
embulk-parser-twitter_ads_stats (0.1.4)
embulk-parser-unpack (0.1.5)
embulk-parser-variable_length_bytes (0.1.1)
embulk-parser-xml (0.13.0)
embulk-parser-xpath (0.0.1)
embulk-parser-xpath2 (0.2.1)
faraday (0.17.3)
faraday_middleware (0.12.2)
google-api-client (0.32.1, 0.9.28)
google-cloud-bigquery (1.11.2)
google-cloud-core (1.3.0)
google-cloud-env (1.2.1)
googleauth (0.9.0)
hashie (5.0.0)
http (2.2.2)
http-accept (1.7.0)
http-cookie (1.0.5)
http-form_data (1.0.3)
http_parser.rb (0.6.0 java)
httpclient (2.8.3)
hurley (0.2)
i18n (1.14.4)
inflection (1.0.0)
jar-dependencies (default: 0.3.10)
jdbc-postgres (42.6.0)
jdbc-sqlite3 (3.42.0.0)
jdbc-vertica (0.0.3)
jrjackson (0.4.18 java, 0.2.9)
jruby-openssl (0.9.21 java)
jruby-readline (1.2.0 java)
json (2.7.2 java, 1.8.3 java)
jsonpath (0.9.9)
jvertica (0.2.5)
jwt (2.3.0)
k-php-serialize (1.2.1)
liquid (4.0.0)
memoist (0.16.2)
mime-types (3.5.2)
mime-types-data (3.2024.0305)
mini_mime (1.0.2)
minitest (default: 5.4.1)
msgpack (1.1.0 java)
multi_json (1.15.0)
multipart-post (2.1.1)
net-telnet (default: 0.1.1)
netrc (0.11.0)
nokogiri (1.10.10 java)
os (1.1.0)
perfect_retry (0.5.0)
power_assert (default: 0.2.3)
presto-client (0.6.6)
psych (2.2.4 java)
public_suffix (4.0.5)
rake (default: 10.4.2)
rdoc (default: 4.2.0)
redis (3.3.5)
representable (3.0.4, 2.3.0)
rest-client (2.1.0)
retriable (3.1.2, 2.1.0)
roo (2.0.1)
rubyzip (1.3.0)
signet (0.11.0, 0.10.0)
sisimai (4.25.16 java)
stripe (11.2.0)
test-unit (default: 3.1.1)
thread_safe (0.3.6 java)
time_with_zone (0.3.1)
to_regexp (0.2.1)
tzinfo (2.0.6, 1.2.11)
uber (0.1.0, 0.0.15)
unf (0.1.4 java