页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始
  • 核心请求在调度决策中是否得到执行取决于使用的调度程序及其配置方式。
  • 在集群模式下,Spark executorsSpark dirver 使用的本地目录是为 YARNHadoop YARN 配置 yarn.nodemanager.local-dirs)配置的本地目录。如果用户指定 spark.local.dir,它将被忽略。在客户端模式下,Spark executors 将使用为 YARN 配置的本地目录,而 Spark dirver 将使用 spark.local.dir 中定义的目录。这是因为 Spark dirver 不在客户端模式下在 YARN 集群上运行,只有 Spark executors
  • --files--archives 选项支持用 # 指定文件名,类似于 Hadoop。 例如,你可以指定 : --files localtest.txt#appSees.txt,这会将你在本地命名为 localtest.txt 的文件上传到 HDFS,但这将通过名称 appSees.txt 链接,当你的应用程序在 YARN 上运行时,你应该使用名称 appSees.txt 引用它。
  • --jars 选项允许你在集群模式下使用本地文件时运行 SparkContext.addJar 函数。 如果你使用 HDFSHTTPHTTPSFTP 文件,则不需要使用它。