页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

Spark 2.0.2 默认使用 Scala 2.11 来构建和发布直到运行。(当然,Spark 也可以与其它的 Scala 版本一起运行)。为了使用 Scala 编写应用程序,您需要使用可兼容的 Scala 版本(例如,2.11.X)。

要编写一个 Spark 的应用程序,您需要在 Spark 上添加一个 Maven 依赖。Spark 可以通过 Maven 中央仓库获取 : 

groupId = org.apache.spark
artifactId = spark-core_2.11
version = 2.0.2

此外,如果您想访问一个 HDFS 集群,则需要针对您的 HDFS 版本添加一个 hadoop-clienthadoop 客户端)依赖

groupId = org.apache.hadoop
artifactId = hadoop-client
version = <your-hdfs-version>

最后,您需要导入一些 Spark classes(类)到您的程序中去。添加下面几行 : 

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

 ( 在 Spark 1.3.0 之前,您需要明确导入org.apache.spark.SparkContext._ 来启用必不可少的隐式转换。)