flink_install.md

Flink SQL Client 配置(推荐1.10.0 scala 版本为2.11)

• 下载Flink版本

• 下载Connector

由于DNS污染目前官网的connector下载链接打不开，提供下面备用下载链接

Connector

• Elasticsearch 6 flink-connector-elasticsearch6 Download
• Elasticsearch 7 flink-connector-elasticsearch7 Download
• Apache Kafka 0.8 flink-connector-kafka-0.8 Not available
• Apache Kafka 0.9 flink-connector-kafka-0.9 Download
• Apache Kafka 0.10 flink-connector-kafka-0.10 Download
• Apache Kafka 0.11 flink-connector-kafka-0.11 Download
• Apache Kafka 0.11+ (universal) flink-connector-kafka Download
• HBase 1.4.3 flink-hbase Download
• JDBC flink-jdbc Download

Formats

• CSV (for Kafka) flink-csv Download
• JSON flink-json Download
• Apache Avro flink-avro Download

一键下载脚本（不包含kafka和Elasticsearch依赖，请单独下载具体使用的kafka版本，注意不要下载多个kafka版本，目前不支持一个集群使用多版本kafka）

cd /opt/flink-1.10.0/lib
for p in '/flink-hbase_2.11/1.10.0/flink-hbase_2.11-1.10.0.jar' '/flink-jdbc_2.11/1.10.0/flink-jdbc_2.11-1.10.0.jar' '/flink-csv/1.10.0/flink-csv-1.10.0-sql-jar.jar' '/flink-json/1.10.0/flink-json-1.10.0-sql-jar.jar' '/flink-avro/1.10.0/flink-avro-1.10.0-sql-jar.jar'
do
  echo "begin download https://repo1.maven.org/maven2/org/apache/flink$p"
  wget "https://repo1.maven.org/maven2/org/apache/flink$p"
done

Option (JDBC Driver)

• MySQL mysql mysql-connector-java Download
• PostgreSQL org.postgresql postgresql Download
• Derby org.apache.derby derby Download

Hive 支持

请参考下面这个项目

flink-hive-dependence

HiveServer2依赖

CentOS:

sudo yum install cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-md5 cyrus-sasl-plain

Ubuntu:

sudo apt-get install sasl2-bin libsasl2-2 libsasl2-dev libsasl2-modules