页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

Spark 类似, Spark Streaming 可以通过 Maven 来管理依赖。为了写你自己的 Spark Streaming 程序,你必须添加以下的依赖到你的 SBT 或者 Maven 项目中。

Maven 示例 : 

代码块
languagexml
themeEclipse
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.0.2</version>
</dependency>

对于从现在没有在 Spark Streaming Core API 中的数据源获取数据,如 KafkaFlumeKinesis ,你必须添加相应的组件 spark-streaming-xyz_2.11 到依赖中。例如,有一些常见的依赖如下。

坐标
Kafkaspark-streaming-kafka-0-8_2.11
Flumespark-streaming-flume_2.11
Kinesisspark-streaming-kinesis-asl_2.11 [Amazon Software License]

想要查看一个实时更新的列表,请参阅 Maven repository 来了解支持的源文件和组件的完整列表。