Flink集成到CDH上，并运行一个例子

下载Flink1.9的Parcel，并放置/var/www/html目录（本地yum源）。也可以直接把文件放到/opt/cloudera/parcel-repo目录下。我这里是放在我本地的yum服务器上

下面我们就第二大步骤进行详细讲解（四小步骤）。
一：创建flink包

下载flink parcel

1 # git clone https://github.com/pkeropen/flink-parcel.git  #文件已经下载到本地yum源库上
1. 需要提前安装maven，执行编译脚本的需要用

1 # yum -y install maven
2 # chmod 744 build.sh

2. 配置flink-parcel.properties

1 #FLINK 下载地址
 2 FLINK_URL=https://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz
 3
 4 #flink版本号
 5 FLINK_VERSION=1.9.1
 6
 7 #扩展版本号
 8 EXTENS_VERSION=BIN-SCALA_2.12
 9
10 #操作系统版本，以centos为例
11 OS_VERSION=7
12
13 #CDH 小版本
14 CDH_MIN_FULL=5.2
15 CDH_MAX_FULL=6.3.2
16
17 #CDH大版本
18 CDH_MIN=5
19 CDH_MAX=6

3. 执行脚本 ，生成parcel，csd文件(时间有点久，需要耐心等待)

1 # ./build.sh parcel  #生成parcel文件
2 # ./build.sh csd_on_yarn  #生成csd文件， 会生产一个jar包，FLINK_ON_YARN-1.10.0.jar
parcel的包在FLINK-1.10.0-BIN-SCALA_2.12_build 文件夹下

4. 把FLINK_ON_YARN-1.9.1.jar 这个文件放在本地的/opt/cloudera/csd/。CDH服务器识别flink的时候需要用。之后重启

1 # cp FLINK_ON_YARN-1.9.1.jar /opt/cloudera/csd/    #本地cdh能识别这个软件的目录下

以下的步骤都是一样，这里单独列出

  1. cloudera manager 配置flink parcel。如果是直接拷贝到本地的，可以不配置。

  2. 需要激活flink，要不然无法完成安装 下载—>>分配—>>激活

  3. 添加flink服务

  4. 完成配置
运行flink第一个例子

  1. 运行代码

  2. 1 flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.1.110:8020/tmp/word.txt --output hdfs://192.168.1.110:8020/tmp/result

  4. 查看结果

FLINK的界面
yran上的界面

  至此，Flink1.9安装到CDH6.3以及第一个例子介绍完毕。

赞 (0)

相关推荐