页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

Spark 类似, Spark Streaming 可以通过 Maven 来管理依赖。为了写你自己的 Spark Streaming 程序,你必须添加以下的依赖到你的 SBT 或者 Maven 项目中。

Maven 示例 : 

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.0.2</version>
</dependency>

对于从现在没有在 Spark Streaming Core API 中的数据源获取数据,如 KafkaFlumeKinesis ,你必须添加相应的组件 spark-streaming-xyz_2.11 到依赖中。例如,有一些常见的依赖如下。

坐标
Kafkaspark-streaming-kafka-0-8_2.11
Flumespark-streaming-flume_2.11
Kinesisspark-streaming-kinesis-asl_2.11 [Amazon Software License]

想要查看一个实时更新的列表,请参阅 Maven repository 来了解支持的源文件和组件的完整列表。

2 评论

  1. 匿名用户 发表:

    kafka支持包是不是只能是0,8_2.11的呢?

    1. 小瑶 发表:

      不是的,这些组件只是一些常见的,并不是只能是这些组件。