页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

类似于抽样,DStreams 还允许开发人员持久化 streama €™数据在内存中。 也就是说,在 DStream 上使用 persist() 方法,它会自动把每个抽样持续化到内存中 。 这个非常有用,如果数据多次 DStream(如同样的数据进行多次操作)。 像 reduceByWindowreduceByKeyAndWindow 和 updateStateByKey 这些都隐式的开启了 “persist()”。 因此,DStreams 生成的窗口操作会自动保存在内存中,如果没有开发人员调用 persist()

对于通过网络接收数据的输入流(如 KafkaFlumeSockets 等),默认的持久性级别被设置为复制两个节点的数据容错。

注意,与抽样不同,默认的序列化数据持久性 DStreams。更多细节在 性能优化 部分查阅。 可以在 Spark 编程指南 中查看不同持久化级别的详情。