export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END
然后刷新系统配置:
source /etc/profile
验证配置生效:
java -version
scala -version
执行以上命令应显示正确的版本信息。
进入spark的conf目录
cd/opt/spark-2.0.0-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
编辑spark-env.sh文件,在最后加入:
export SCALA_HOME=/opt/scala-2.11.7
export JAVA_HOME=/opt/jdk1.7.0_79
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1024m
export master=spark://localhost 7070