コネクタとは？

コネクタとは、「Earkと外部ツールを連携」したり、「Earkから外部ツール同士の連携」を行うときに利用します。

EarkのコネクタはオープンソースのEmbulkを利用しており、高速処理が可能となっております。操作画面には、ボタンだけで直感的に操作が行えるGUI画面と、エディタ画面のどちらもご用意しております。また例えばAmazonS3→AmazonS3等、Earkを通さずファイル転送いただくことも可能ですので、ETLツールとしてもご活用いただけます。

A：コネクタをGUIで作成する

ジョブ＞コネクタにアクセスすると、コネクタの「作成、編集、削除」を行うことができます。コネクタの作成は「GUI」、「エディタ」どちらも選択が可能です。

「GUIでコネクタ新規作成」ではボタン操作にてコネクタを作成することが可能です。

①コネクタ作成

「コネクタ新規作成」ボタンを押下
「コネクタ新規作成」を押下すると表示される「GUIでコネクタ新規作成」を押下

インポート元で利用するコネクタを選択します。

インポート元のコネクタの種類は順次追加予定です。

各コネクタごとに必要項目を入力します。

エクスポート先のコネクタを選択します。

エクスポート先のコネクタの種類は順次追加予定です。

各コネクタごとに必要項目を入力します。
全て入力後、保存ボタンを押します。

コネクタが作成できました。

②コネクタ編集

対象のコネクタ右側の「･･･」を選択し、編集ボタンを押下または、直接該当のコネクタレコードを押下します。

③コネクタ削除

対象のコネクタ右側の「･･･」を選択し、削除ボタンを押します。

コネクタ削除モーダルの削除ボタンを押します。

B：コネクタをエディタ画面で作成する

「エディタでコネクタ新規作成」では、直接スクリプトを書くことによってコネクタを作成することが可能です。

①コネクタ作成

「コネクタ新規作成」ボタンを押下
「コネクタ新規作成」を押下すると表示される「エディタでコネクタ新規作成」を押下

コネクタ名、説明を入力し環境変数を使用してスクリプト作成をします。

inは入力先のスクリプトoutは出力先になります。

スクリプト作成後、保存ボタンを押します。

②コネクタ編集

対象のコネクタ右側の「･･･」を選択し、編集ボタンを押します。

③コネクタ削除

対象のコネクタ右側の「･･･」を選択し、削除ボタンを押します。

コネクタ削除モーダルの削除ボタンを押します。

Earkのコネクタで利用している「Embulk」について

EarkでのコネクターはEmbulkを使用しています。

Embulkのバージョン

v0.9.25

EmbulkにインストールされているPluginは以下です。

activesupport (5.2.3)
addressable (2.7.0)
bundler (1.16.0)
concurrent-ruby (1.2.3)
declarative (0.0.20)
declarative-option (0.1.0)
did_you_mean (default: 1.0.1)
domain_name (0.5.20190701)
elasticsearch (7.5.0)
elasticsearch-api (7.5.0)
elasticsearch-transport (7.5.0)
embulk (0.9.25 java)
embulk-decoder-command (0.2.0)
embulk-decoder-commons-compress (0.6.0 java)
embulk-decoder-exec (0.1.0)
embulk-decoder-lz4 (0.1.0)
embulk-decoder-lzo (0.1.2)
embulk-decoder-remove_nonstandard_utf8_bytes (0.1.0)
embulk-encoder-command (0.1.0)
embulk-encoder-commons-compress (0.2.1 java)
embulk-encoder-encrypted_zip (0.1.1)
embulk-encoder-lz4 (0.1.0)
embulk-encoder-pgp_encryption (0.1.0)
embulk-encoder-xz (0.1.0)
embulk-executor-mapreduce (0.3.0)
embulk-executor-mapreduce_2_6 (0.4.0)
embulk-executor-mapreduce_2_7 (0.4.0)
embulk-filter-add_time (0.3.1 java)
embulk-filter-affix (0.1.0)
embulk-filter-azure_computer_vision_api (0.1.3)
embulk-filter-base58 (0.1.3)
embulk-filter-base64 (0.2.0)
embulk-filter-calc (0.2.0 java)
embulk-filter-calcite (0.5.1 java)
embulk-filter-column (0.9.0 java)
embulk-filter-convert_unicode_sequence_to_string (0.1.1)
embulk-filter-copy (0.2.0 java)
embulk-filter-crawler (0.1.3)
embulk-filter-distinct (0.0.4)
embulk-filter-encrypt (0.3.0 java)
embulk-filter-eval (0.1.0)
embulk-filter-expand_json (0.6.0 java)
embulk-filter-flatten_json (0.1.0 java)
embulk-filter-google_translate_api (0.2.1)
embulk-filter-google_vision_api (0.2.3)
embulk-filter-gsub (0.2.0)
embulk-filter-hash (0.5.0)
embulk-filter-icu4j (0.3.1)
embulk-filter-insert (1.1.1)
embulk-filter-join_file (0.0.2)
embulk-filter-json_key (0.0.2)
embulk-filter-json_key_joiner (0.1.0)
embulk-filter-jsoncolumn (0.1.0)
embulk-filter-key_in_redis (0.1.3)
embulk-filter-kuromoji (0.5.0)
embulk-filter-mask (0.2.1)
embulk-filter-null_string (0.2.0 java)
embulk-filter-pherialize (0.0.1)
embulk-filter-protobuf (0.1.0)
embulk-filter-query_string (0.2.1)
embulk-filter-query_string_ruby (0.1.11)
embulk-filter-rearrange (0.1.0)
embulk-filter-reverse_geocoding (0.1.0)
embulk-filter-row (0.6.1 java)
embulk-filter-ruby_proc (0.8.1)
embulk-filter-script (0.0.1)
embulk-filter-script_ruby (0.1.3)
embulk-filter-speedometer (0.3.5)
embulk-filter-split_column (0.1.3)
embulk-filter-stdout (0.1.0)
embulk-filter-strip_html_tags (0.2.0)
embulk-filter-timestamp_format (0.4.0 java)
embulk-filter-timestamp_hs (0.1.0)
embulk-filter-to_csv (0.0.1)
embulk-filter-to_json (0.1.0 java)
embulk-filter-typecast (0.3.0 java)
embulk-filter-unique (0.1.0)
embulk-filter-url_encode (0.1.0)
embulk-filter-woothee (0.3.0)
embulk-formatter-avro (0.2.1)
embulk-formatter-fast_jsonl (0.1.2)
embulk-formatter-geojson (0.1.0)
embulk-formatter-html_table (0.1.0)
embulk-formatter-jsonl (0.1.4)
embulk-formatter-markdown_table (0.1.0)
embulk-formatter-poi_excel (0.1.2)
embulk-formatter-single_value (0.3.1)
embulk-formatter-sprintf (0.1.0)
embulk-input-apache-dummy-log (0.1.0)
embulk-input-aster (0.1.5)
embulk-input-athena (0.1.7)
embulk-input-azure_blob_storage (0.3.1 java)
embulk-input-bigquery (0.1.0)
embulk-input-bigquery_extract_files (0.0.14)
embulk-input-clickhouse (0.1.1)
embulk-input-cloudwatch_logs (0.1.1)
embulk-input-command (0.1.4)
embulk-input-datastore (0.1.3)
embulk-input-db2 (0.11.1 java)
embulk-input-dynamodb (1.0.4 java)
embulk-input-filesplit (0.1.4)
embulk-input-firestore (0.0.1)
embulk-input-ftp (0.4.0 java)
embulk-input-gcs (0.4.1 java)
embulk-input-gmail (0.1.0)
embulk-input-google_analytics (0.1.24)
embulk-input-google_spreadsheets (1.1.1)
embulk-input-hdfs (0.3.2)
embulk-input-http (0.25.0 java)
embulk-input-inline (0.1.0)
embulk-input-intersystems_cache (0.1.0)
embulk-input-jdbc (0.13.2 java)
embulk-input-jira (0.3.0 java)
embulk-input-jstat (0.0.3)
embulk-input-kafka (0.2.0 java)
embulk-input-kintone (0.1.5)
embulk-input-lkqd (0.8.1)
embulk-input-marketo (0.6.25 java)
embulk-input-mongodb (0.8.2 java)
embulk-input-mysql (0.13.2 java)
embulk-input-oracle (0.11.1 java)
embulk-input-parquet_hadoop (0.1.1)
embulk-input-pcapng-files (0.1.5)
embulk-input-postgresql (0.13.2 java)
embulk-input-presto (0.2.5)
embulk-input-random (0.0.2)
embulk-input-randomj (0.6.0 java)
embulk-input-redash (0.1.3)
embulk-input-redis (0.1.6)
embulk-input-rediskeys (0.2.0)
embulk-input-redshift (0.13.2 java)
embulk-input-remote (0.4.2)
embulk-input-riak_cs (0.5.3 java)
embulk-input-s3 (0.6.0 java)
embulk-input-salesforce_bulk (0.2.3)
embulk-input-search_analytics (0.1.0)
embulk-input-sendgrid (0.1.2)
embulk-input-sequence (0.1.0)
embulk-input-sftp (0.4.0 java)
embulk-input-slack-history (0.1.1)
embulk-input-slack_message (0.1.0)
embulk-input-soracom_harvest (0.1.0)
embulk-input-sparql (0.0.2)
embulk-input-sql (0.1.0)
embulk-input-sqlserver (0.13.2 java)
embulk-input-stripe (0.2.0)
embulk-input-swift (0.1.0)
embulk-input-td (0.2.3)
embulk-input-teradata (0.1.2)
embulk-input-twitterarchive (0.1.0)
embulk-input-vertica (0.1.2)
embulk-input-yelp (0.2.5 java)
embulk-input-zendesk (0.4.3 java)
embulk-input-zendesk_guide (0.1.2)
embulk-output-aerospike (0.4.0)
embulk-output-analytics_cloud (0.1.1)
embulk-output-aster (0.0.2)
embulk-output-azure_blob_storage (0.2.1 java)
embulk-output-azuresearch (0.1.1)
embulk-output-bigobject (0.4.6)
embulk-output-bigquery (0.6.7)
embulk-output-cassandra (0.5.0 java)
embulk-output-command (0.1.4)
embulk-output-db2 (0.9.0 java)
embulk-output-documentdb (0.1.1)
embulk-output-dynamodb (0.1.5)
embulk-output-elasticsearch (0.6.0 java)
embulk-output-elasticsearch5 (0.1.7)
embulk-output-elasticsearch_1.x (0.1.8.1)
embulk-output-elasticsearch_using_url (0.1.2)
embulk-output-embulk_output_domo (0.3.5)
embulk-output-fluentd (0.1.0)
embulk-output-ftp (0.3.0 java)
embulk-output-gcs (0.6.0 java)
embulk-output-google_analytics (0.1.0)
embulk-output-google_sheets_ruby (0.1.4)
embulk-output-google_spreadsheets (0.2.0)
embulk-output-hdfs (0.3.0)
embulk-output-jdbc (0.10.6 java)
embulk-output-kafka (0.3.1 java)
embulk-output-larges3 (0.1.7)
embulk-output-mailchimp (0.3.31)
embulk-output-mongodb_nest (0.1.3)
embulk-output-mysql (0.10.6 java)
embulk-output-oracle (0.9.0 java)
embulk-output-orc (0.3.5)
embulk-output-parquet (0.6.0)
embulk-output-postgres-json (0.2.0)
embulk-output-postgres-udf (0.2.0)
embulk-output-postgresql (0.10.6 java)
embulk-output-redis (0.1.6)
embulk-output-rediskeys (0.1.0)
embulk-output-redshift (0.10.6 java)
embulk-output-s3 (1.7.1 java)
embulk-output-s3_parquet (0.5.2 java)
embulk-output-s3_per_record (0.4.0)
embulk-output-salesforce (0.1.4)
embulk-output-sftp (0.3.1 java)
embulk-output-slack_file_upload (0.2.0)
embulk-output-sqlite3 (0.0.1)
embulk-output-sqlserver (0.10.6 java)
embulk-output-swift (0.1.0)
embulk-output-td (0.8.1 java)
embulk-output-teradata (0.1.3)
embulk-output-trafodion (0.1.1)
embulk-output-utf8parquet (1.1.11)
embulk-output-vertica (0.7.4)
embulk-parser-apache-custom-log (0.4.1)
embulk-parser-apache-log (0.1.2)
embulk-parser-apache_error_log (0.1.2)
embulk-parser-avro (0.5.0 java)
embulk-parser-csv_guessable (0.2.0)
embulk-parser-csv_with_default_value (0.1.0)
embulk-parser-csv_with_schema_file (0.0.2)
embulk-parser-firebase_avro (0.1.3)
embulk-parser-fixed (0.1.0)
embulk-parser-fluent-s3-log (0.0.1)
embulk-parser-fluentd_out_file (0.1.0)
embulk-parser-grok (0.1.7)
embulk-parser-jdbc-schema-csv (0.0.1)
embulk-parser-joni_regexp (0.1.0)
embulk-parser-json (0.0.7)
embulk-parser-jsonl (0.2.1)
embulk-parser-jsonline (0.2.2)
embulk-parser-jsonpath (0.4.1 java)
embulk-parser-ltsv (0.1.1)
embulk-parser-mahout (0.0.1)
embulk-parser-msgpack (0.6.0 java)
embulk-parser-mysqldump_tab (0.1.1)
embulk-parser-none (0.2.0)
embulk-parser-none-bin (0.2.0)
embulk-parser-pcapng (0.1.0)
embulk-parser-poi_excel (0.1.13)
embulk-parser-query_string (0.3.2)
embulk-parser-regex (0.2.1)
embulk-parser-roo-excel (0.0.1)
embulk-parser-sisimai (0.1.1)
embulk-parser-twitter_ads_stats (0.1.4)
embulk-parser-unpack (0.1.5)
embulk-parser-variable_length_bytes (0.1.1)
embulk-parser-xml (0.13.0)
embulk-parser-xpath (0.0.1)
embulk-parser-xpath2 (0.2.1)
faraday (0.17.3)
faraday_middleware (0.12.2)
google-api-client (0.32.1, 0.9.28)
google-cloud-bigquery (1.11.2)
google-cloud-core (1.3.0)
google-cloud-env (1.2.1)
googleauth (0.9.0)
hashie (5.0.0)
http (2.2.2)
http-accept (1.7.0)
http-cookie (1.0.5)
http-form_data (1.0.3)
http_parser.rb (0.6.0 java)
httpclient (2.8.3)
hurley (0.2)
i18n (1.14.4)
inflection (1.0.0)
jar-dependencies (default: 0.3.10)
jdbc-postgres (42.6.0)
jdbc-sqlite3 (3.42.0.0)
jdbc-vertica (0.0.3)
jrjackson (0.4.18 java, 0.2.9)
jruby-openssl (0.9.21 java)
jruby-readline (1.2.0 java)
json (2.7.2 java, 1.8.3 java)
jsonpath (0.9.9)
jvertica (0.2.5)
jwt (2.3.0)
k-php-serialize (1.2.1)
liquid (4.0.0)
memoist (0.16.2)
mime-types (3.5.2)
mime-types-data (3.2024.0305)
mini_mime (1.0.2)
minitest (default: 5.4.1)
msgpack (1.1.0 java)
multi_json (1.15.0)
multipart-post (2.1.1)
net-telnet (default: 0.1.1)
netrc (0.11.0)
nokogiri (1.10.10 java)
os (1.1.0)
perfect_retry (0.5.0)
power_assert (default: 0.2.3)
presto-client (0.6.6)
psych (2.2.4 java)
public_suffix (4.0.5)
rake (default: 10.4.2)
rdoc (default: 4.2.0)
redis (3.3.5)
representable (3.0.4, 2.3.0)
rest-client (2.1.0)
retriable (3.1.2, 2.1.0)
roo (2.0.1)
rubyzip (1.3.0)
signet (0.11.0, 0.10.0)
sisimai (4.25.16 java)
stripe (11.2.0)
test-unit (default: 3.1.1)
thread_safe (0.3.6 java)
time_with_zone (0.3.1)
to_regexp (0.2.1)
tzinfo (2.0.6, 1.2.11)
uber (0.1.0, 0.0.15)
unf (0.1.4 java