页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

Spark Shell 中,一个特殊的 interpreter-aware(可用的解析器)SparkContext 已经为您创建好了,称之为 sc 的变量。创建您自己的 SparkContext 将不起作用。您可以使用 --master 参数设置这个 SparkContext 连接到哪一个 master 上,并且您可以通过 --jars 参数传递一个逗号分隔的列表来添加 JARsclasspath 中。也可以通过 --packages 参数应用一个用逗号分隔的 maven coordinatesmaven 坐标)方式来添加依赖(例如,Spark 包)到您的 shell session 中去。任何额外存在且依赖的仓库(例如 Sonatype)可以传递到 --repositories 参数。例如,要明确使用四个核(CPU)来运行 bin/spark-shell,使用 : 

$ ./bin/spark-shell --master local[4]

或者,也可以添加 code.jar 到它的 classpath 中去,使用 : 

$ ./bin/spark-shell --master local[4] --jars code.jar

为了使用 maven coordinates(坐标)来包含一个依赖 : 

$ ./bin/spark-shell --master local[4] --packages "org.example:example:0.1"

有关选项的完整列表,请运行 spark-shell --help在后台,spark-shell 调用了较一般的 spark-submit 脚本