页面树结构

2017-07-25 Apache Spark 2.2.0 官方文档中文版发布 : http://spark.apachecn.org/docs/cn/2.2.0/


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

学习前言


Spark 第一期学习计划,从今天(2016年12月05号)开始,直到 2016年12月26号 号结束!~ 简单说以下几点 : 
1. Spark 学习遇到的任何问题可以在这里寻求帮助,能不能解决就得看脸了,有的坑自己踩过之后希望可以分享出来,这样大家就不必要再去踩各种不必要的坑了。(关于这些坑,可以的话整理下发给我,我写到 ApacheCN 上的 FAQ 上去!~ tks)
2. 各种资料的分享,或者经验技巧的分享,以及工作中经验的分享。(我这里为零,我特么也没用过这玩意)
3. 周六晚上 21 点开启语音交流!~ 学习过程中欢迎随时装逼 。。。
4. 详细的学习计划在上面已经列出来了 。。。有问题可以随时@我!~
5. 机会只有一次,错过的风景,便再也与你无关 、、、打酱油的可以继续打酱油!~(讨论组 http://url.cn/42CRkD4 于 Spark 学习完之后解散!~~~ 天下没有不散的宴席 。。。)
6. Spark 中文文档的校验以及 PDF 的对外发布!~(有兴趣的有时间的哥们可以在这里或者私聊一下我!~)
7. 机会有了,平台有了,资源有了,文档有了,能不能坚持学习下去,这就需要看你自己的了 ,别人帮不了你 。。。 

学习时间

开始时间 : 2016-12-05

介绍时间 : 2016-12-26

2016-12-05 - Spark 概述

 今天的学习内容本来是《Spark 概述的》,跟上计划,花个 5 分钟看一下就可以了 : 

原文链接 : http://spark.apache.org/docs/latest/index.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2883720

还是那句话,能不能坚持下去,就看自己的了!~ 该碎觉的碎觉吧!~ 明天聊,bye!~ 

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-06 - 编程指南 - 快速入门

原文链接 : http://spark.apache.org/docs/latest/quick-start.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2883730

资源分享 : Streaming Report_Meetup_毛玮_王华峰-914 - LegalReviewed.pdf

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-07 - 编程指南 - Spark 编程指南

原文链接 : http://spark.apache.org/docs/latest/programming-guide.html

译文链接 :  http://www.apache.wiki/pages/viewpage.action?pageId=2884780

学习建议 : Transformations (转换)Actions (动作),我觉得更重要的两部分!~

备注 : 该页面准备与今晚校验完毕!~(还没有检查昨天校验到哪的 。。。- - 、)

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-08 - 编程指南 - Spark 编程指南

原文链接 : http://spark.apache.org/docs/latest/programming-guide.html

译文链接 :  http://www.apache.wiki/pages/viewpage.action?pageId=2884780

学习建议 : Transformations (转换)Actions (动作),我觉得更重要的两部分!~

备注 : 今天继续校验该页面!~~~ Continue 。。。(计划赶不上变化啊,昨天由于一些事情没有校验!~ 蛋疼 、、、)

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-09 - 编程指南 - Spark Streaming

原文链接 : http://spark.apache.org/docs/latest/streaming-programming-guide.html

译文链接 : http://www.apache.wiki/display/Spark/Spark+Streaming

学习建议 : 不要急着撸代码,多看概念!~

备注 : 今天继续校验该页面!~~~ Continue 。。。 校验的兄弟有点少,弱弱的问一句,还有原来要校验文档的哥们嘛,咩有的话明天我再来问一虾 、、、

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-10 - 编程指南 - Spark Streaming

原文链接 : http://spark.apache.org/docs/latest/streaming-programming-guide.html

译文链接 : http://www.apache.wiki/display/Spark/Spark+Streaming

学习建议 : 稍微简单的看了下该文档,概念性的东西很多,重要的是理解概念,而不是如何使用 API。具体使用什么 API,该注意什么的时候,直接查文档就行了。

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-11 - 编程指南 - Spark Streaming

原文链接 : http://spark.apache.org/docs/latest/streaming-programming-guide.html

译文链接 : http://www.apache.wiki/display/Spark/Spark+Streaming

学习建议 : 没怎么敲代码,只看了下官网的 NetworkWordCount 示例。然后把大致的文档简单的过了一遍,还是上面那句话,概念性的东西太多了,需要一定的基础,和时间来理解这些东西。当然,最有好个人来带你就更好了,但是,不是人人都愿意分享的,大家都辣么忙是吧!在该文档的最后一部分 快速跳转 中,提供了一些插件什么的,比如 Spark Streaming + Kafka 集成指南(Kafka broker version 0.8.2.1 or higher)。(感谢下翻译这个文档的哥们@胖哥 ,翻译还是满专业的,虽然我们还没有校验到这里,哈哈!~)该官方文档很好的介绍了 spark-kafka 两种接收数据的方法,以及它们的区别。兼容性,开发时该注意的地方,比如 offset 的处理方式,Exactly-once 语义,注意事项,容错方式等等!~ 如果想要从 kafka 中接收数据的话,建议多看下这个文档好装比!~~~

明天开始 Spark SQL 的学习了,今晚预计 21 点左右大家开语音聊一下学习吧,比如学习中遇到的问题,自己的看法之类的!~~~(本来是昨天 21 点的,结果有点事情,推到今天了,抱歉 、、、)

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-12 - 编程指南 - Spark SQL

原文链接 : http://spark.apache.org/docs/latest/sql-programming-guide.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2883736

学习建议 : 年轻人,不要急,多看概念!~~~ 不要急着如何使用 API!!!

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-13 - 编程指南 - Spark SQL

原文链接 : http://spark.apache.org/docs/latest/sql-programming-guide.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2883736

学习建议 : 概念多,不解释,不懂的问就 OK 了,好像有两个哥们把 FAQ 放错地方了,放到 CDH 空间下去了,蛋疼 。。。

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-14 - 编程指南 - Spark SQL

原文链接 : http://spark.apache.org/docs/latest/sql-programming-guide.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2883736

学习建议 : 还是那句话概念有点多!~ 其中有几个比较复杂,却跨度(spark 版本间)有点大的概念,比如 DatasetDataFrame。简单理解就是 

  1. DataFrame : 它是 Dataset[Row] 的一个别名。也就是说 DataFrame 表示为 Dataset[Row]。(注意 : 在这里,Row 是一个抽象,可以简单认为它代表一个 Record
  2. Dataset : 与 DataFrame 对比的话,辣么 Dataset 代表的就是 Dataset[User] 了吧!~(在这里,Obejct 对象序列化为 Bytes 字节之后,可以执行一些类似 filtersort 的操作,并且不需要反序列化 bytes 为对象,略屌 、、、)

参考资料 : 

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-15 - 部署 - 集群模式概述

原文链接 : http://spark.apache.org/docs/latest/cluster-overview.html

译文链接 :http://www.apache.wiki/pages/viewpage.action?pageId=2887940

学习建议 : 概念性东西,多看看就好了!~ 余下的时间复习下前面所学的内容,慢慢来,不要慌!~~~

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-16 - 部署 - 提交应用

原文链接 : http://spark.apache.org/docs/latest/submitting-applications.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=3539265

学习建议 : 各种提交应用的方式(例如,local,yarn,mesos 等)以及各个参数的解释,master url 的详细介绍,官网都有!~

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-17 - 部署 - Spark Standalone 模式

原文链接 : http://spark.apache.org/docs/latest/spark-standalone.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2888473

学习建议 : 又是概念,配置啥的,我只能说多看吧 - - 、、、

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-18 - 部署 - Spark Mesos 模式

原文链接 : http://spark.apache.org/docs/latest/running-on-mesos.html

译文链接 : http://www.apache.wiki/display/Spark/Spark+on+Mesos

学习建议 : 稍微看下,可以跳过,毕竟用的蛮少的!~

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-19 - 部署 - Spark On Yarn 模式

原文链接 : http://spark.apache.org/docs/latest/running-on-yarn.html

译文链接 : http://www.apache.wiki/display/Spark/Spark+on+YARN

学习建议 : 概念!!!~~~

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-20 - 部署 - Spark 配置

原文链接 : http://spark.apache.org/docs/latest/configuration.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2887898

学习建议 : 我只想说一句,真特么多啊!~ 。。。不要太认真,简单看下就好了!~ 有时间多看看 RDD Dataset DataFrame Partition DStream 吧!~~~

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-21 - 部署 - Spark 监控

原文链接 : http://spark.apache.org/docs/latest/monitoring.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2887795

学习建议 : 稍微看一下,用的时候直接翻文档吧!~

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-22 - 部署 - 优化指南

原文链接 : http://spark.apache.org/docs/latest/tuning.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2887785

学习建议 : Spark 最装比的地方来了,如何优化 Spark,如何让你在万人之中脱颖而出,如何让你脸不红心不跳的装比,如何让你装了比之后根本停不下来,就靠这里了 、、、

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、

2016-12-23 - 部署 - 作业调度

原文链接 : http://spark.apache.org/docs/latest/job-scheduling.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=2883666

学习建议 : 资源分配策略,资源池默认行为,动态资源分配等!~~~ 需要好好的看一下!~~~ 然后感谢翻译这个页面的哥们 breeze

今天你坚持了学习没有,是不是离梦想又更远了呢 、、、