页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

YARN 上运行 Spark 需要使用 YARN 支持构建的二进制分布式的 Sparka binary distribution of Spark)。二进制文件(binary distributions)可以从项目网站的 下载页面 下载。要自己构建 Spark ,请参考 构建 Spark 。

要使 Spark 运行时 jars 可以从 YARN 端访问,您可以指定 spark.yarn.archive 或者 spark.yarn.jars 。有关详细的信息,请参阅 Spark 属性 。如果既没有指定 spark.yarn.archive 也没有指定 spark.yarn.jarsSpark 将在 $SPARK_HOME/jars 目录下创建一个包含所有 jar 的 zip 文件,并将其上传到分布式缓存(distributed cache)中。