<big>环境搭建</big>
计划安装3台计算机,安装ubuntu系统,主机名分别为master,slave1,slave1,IP分别为(166slave2,IP分别为(166.111.198.222/166.111.198.119/166.111.199.73)。
安装软件: java-jdk1.7.3 0 / hadoop2.6.4 /spark1spark2.0.260
java安装目录:
/opt/kdk1.7.0_79
hadoop安装目录:
/opt/hadoop-2.6.4/
spark安装目录:
/opt/spark-2.0.0-bin-hadoop2.6
首先要使各主机ssh免密码登陆
* 1在master生成密钥对
ssh-keygen -t rsa -P ''
在~/.ssh下生成 id_rsa和id_rsa.pub
* 2把id_rsa.pub复制到slave1 的~/.ssh/authorized_keys文件里
scp ~/.ssh/id_rsa.pub root@slave:/root/id_rsa.pub
在slave上
cat id_rsa.pub >> .ssh/authorized_keys
chmod 600 .ssh/authorized_keys
* 3回到master,测试登陆slave
<big>环境配置</big>
编辑文件 /etc/profile 加入以下内容
#JAVA VARIABLES START
export JAVA_HOME=/opt/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
#JAVA VARIABLES END
#SCALA VARIABLES START
export SCALA_HOME=/opt/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
#SCALA VARIABLES END
#SPARK VARIABLES START
export SPARK_HOME=/opt/spark-2.0.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END
然后刷新系统配置:
source /etc/profile
验证配置生效:
java -version
scala -version
执行以上命令应显示正确的版本信息。
进入spark的conf目录
cd/opt/spark-2.0.0-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
编辑spark-env.sh文件,在最后加入:
export SCALA_HOME=/opt/scala-2.11.7
export JAVA_HOME=/opt/jdk1.7.0_79
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1024m
export master=spark://localhost 7070
编辑slaves文件,将slave加入列表(IP也可以)
slave1
slave2
slave3
=== 启动集群 ===
进入spark下的sbin目录,执行
./spart-all.sh
期待集群,可在192.168.0.71:8080看到spark已经启动。
sbin目录下的其它命令
stop-all.sh 停止所有进程
start-master.sh 启动master
start-slaves.sh 启动所有slave (slaves文件中指定)
start-salve.sh 启动单独slave(在执行的主机上)
stop-master.sh 停止master
stop-slaves.sh 停止所有slaves