CDH 5.13 Quickstart安装Spark2.2

在先前装的CDH5.14集群中，默认安装的spark是1.6.0版本。我们现在可以现有的集群中再装spark2.x版本，能和spark1.6版本并存。
当前CDH支持的Spark2.X最新版本是Spark2.3.0，目前Apache Spark最近版本是2.3.1，即CDH的版本更新是慢半拍的，但基本上不影响使用。
下面是在CDH中安装Spark2.3的步骤：
这是官方给出安装和升级方法说明：
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一. 安装准备
1. 下载所需的安装包
http://archive.cloudera.com/spark2/csd/
SPARK2_ON_YARN-2.3.0.cloudera3.jar

http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel.sha1
manifest.json
说明：要选择相对应的系统、CDH版本
我的系统是CentOS6.7所以选择了el6，都选择cloudera3相应的parcel包
2. Spark2.3安装需求

二、安装步骤
1. 上传CSD包到CM节点的/opt/cloudera/csd目录
# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera3.jar
2. 上传parcel的3个包到CM的/opt/cloudera/parcel-repo目录下
[root@hadoop0 parcel-repo]# ls
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel.sha
manifest.json
如之前有manifest.json文件，先把之前的更名后再上传

3. 安装JDK1.8
安装Spark2.X必需要安装JDK1.8以上版本，因我们在安装CDH5.14时默认选择安装的是JDK1.7.0_67版本，所以要把JDK进行版本升级。否则在后面在安装spark2时会报错：
Java version 1.8 is required for Spark 2.3.
具体安装过程和报错解决在后面详细介绍。

4. 重启CM和集群
# service cloudera-scm-agent restart

5. 通过CM安装Spark2
CM页面-> 主机 -> Parcel页面可以看到新的spark2的parcel包
2.3.0.cloudera3-1.cdh5.13.3.p0.458809
然后点击 下载-进行分配-激活

6. 在集中添加服务






可以看到正常启动

三、遇到的问题
在集群中安装jdk1.8，修改CDH的JAVA_HOME方法
下面解决安装Spark2时出现jdk版本低的问题，
问题：在添加Spark服务进出现下面的错误

解决：

在每个节点安装JDK1.8（可以与jdk1.7版本并存）
[root@hadoop1 ~]# rpm -ivh jdk-8u181-linux-x64.rpm

warning: jdk-8u181-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec551f03: NOKEY
Preparing...                ########################################### [100%]
   1:jdk1.8                 ########################################### [100%]

在CM节点配置JAVA_HOME
[root@hadoop0 ~]# vi /etc/default/cloudera-scm-server
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64

在CM中每个主机的上配置JAVA_HOME
在CM中的点 -> 主机 -> 选择一host

在高级页添加新的JAVA_HOME目录

Spark1.6与Spark2出现兼容性问题
如果新装的Spark2与之前的Spark1.6出现兼容性问题，请删除Spark1.6服务后再添加Spark2服务器

CDH (5.8 and higher) parcel required for SPARK2 (2.2.0.cloudera4-1.cdh5.13.3.p0.603055) is not available.

在Parcel  Settings里面uncheck 包的依赖关系检验

 

---------------------
作者：常飞梦
来源：CSDN
原文：https://blog.csdn.net/lichangzai/article/details/82225494
版权声明：本文为博主原创文章，转载请附上博文链接！