编辑文件 /etc/profile 加入以下内容
#JAVA VARIABLES START
export JAVA_HOME=/home/dataopt/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
#JAVA VARIABLES END
#SCALA VARIABLES START
export SCALA_HOME=/home/dataopt/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
#SCALA VARIABLES END
#SPARK VARIABLES START
export SPARK_HOME=/opt/spark-2.0.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END
export SPARK_HOME=/home/data/spark-1.4.0-bin-hadoop2.4然后刷新系统配置:
export PATH=$PATH:$SPARK_HOMEsource /binetc/profile
验证配置生效: #SPARK VARIABLES ENDjava -version scala -version 执行以上命令应显示正确的版本信息。 进入spark的conf目录 cd/opt/spark-2.0.0-bin-hadoop2.6/conf cp spark-env.sh.template spark-env.sh 编辑spark-env.sh文件,在最后加入: export SCALA_HOME=/opt/scala-2.11.7 export JAVA_HOME=/opt/jdk1.7.0_79 export SPARK_MASTER_IP=localhost export SPARK_WORKER_MEMORY=1024m export master=spark://localhost 7070 编辑slaves文件,将slave加入列表(IP也可以) slave1 slave2 slave3 === 启动集群 === 进入spark下的sbin目录,执行 ./spart-all.sh 期待集群,可在192.168.0.71:8080看到spark已经启动。 sbin目录下的其它命令 stop-all.sh 停止所有进程 start-master.sh 启动master start-slaves.sh 启动所有slave (slaves文件中指定) start-salve.sh 启动单独slave(在执行的主机上) stop-master.sh 停止master stop-slaves.sh 停止所有slaves