更改

Spark 实践

添加491字节2016年9月12日 (一) 01:11
export PATH=$PATH:$SPARK_HOME/bin
#SPARK VARIABLES END
 
然后刷新系统配置:
 
source /etc/profile
 
验证配置生效:
 
java -version
 
scala -version
 
执行以上命令应显示正确的版本信息。
 
进入spark的conf目录
 
cd/opt/spark-2.0.0-bin-hadoop2.6/conf
 
cp spark-env.sh.template spark-env.sh
 
编辑spark-env.sh文件,在最后加入:
export SCALA_HOME=/opt/scala-2.11.7
export JAVA_HOME=/opt/jdk1.7.0_79
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1024m
export master=spark://localhost 7070
0
个编辑