更改

Spark 实践

添加1,923字节2016年9月12日 (一) 01:20
<big>环境搭建</big>
计划安装3台计算机,安装ubuntu系统,主机名分别为master,slave1,slave1,IP分别为(166slave2,IP分别为(166.111.198.222/166.111.198.119/166.111.199.73)。
安装软件: java-jdk1.7.3 0 / hadoop2.6.4 /spark1spark2.0.260
java安装目录:
/opt/kdk1.7.0_79
hadoop安装目录:
 
/opt/hadoop-2.6.4/
 
spark安装目录:
 
/opt/spark-2.0.0-bin-hadoop2.6
 
首先要使各主机ssh免密码登陆
* 1在master生成密钥对
ssh-keygen -t rsa -P ''
 
在~/.ssh下生成 id_rsa和id_rsa.pub
* 2把id_rsa.pub复制到slave1 的~/.ssh/authorized_keys文件里
 
scp ~/.ssh/id_rsa.pub root@slave:/root/id_rsa.pub
 
在slave上
 
cat id_rsa.pub >> .ssh/authorized_keys
chmod 600 .ssh/authorized_keys
 
* 3回到master,测试登陆slave
 
<big>环境配置</big>
 
编辑文件 /etc/profile 加入以下内容
#JAVA VARIABLES START
export JAVA_HOME=/opt/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
#JAVA VARIABLES END
 
#SCALA VARIABLES START
export SCALA_HOME=/opt/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
#SCALA VARIABLES END
 
#SPARK VARIABLES START
export SPARK_HOME=/opt/spark-2.0.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END
 
然后刷新系统配置:
 
source /etc/profile
 
验证配置生效:
 
java -version
 
scala -version
 
执行以上命令应显示正确的版本信息。
 
进入spark的conf目录
 
cd/opt/spark-2.0.0-bin-hadoop2.6/conf
 
cp spark-env.sh.template spark-env.sh
 
编辑spark-env.sh文件,在最后加入:
export SCALA_HOME=/opt/scala-2.11.7
export JAVA_HOME=/opt/jdk1.7.0_79
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1024m
export master=spark://localhost 7070
 
编辑slaves文件,将slave加入列表(IP也可以)
slave1
slave2
slave3
 
=== 启动集群 ===
 
进入spark下的sbin目录,执行
 
./spart-all.sh
 
期待集群,可在192.168.0.71:8080看到spark已经启动。
 
sbin目录下的其它命令
 
stop-all.sh 停止所有进程
 
start-master.sh 启动master
 
start-slaves.sh 启动所有slave (slaves文件中指定)
 
start-salve.sh 启动单独slave(在执行的主机上)
 
stop-master.sh 停止master
 
stop-slaves.sh 停止所有slaves
0
个编辑