Distribution System
Syllabus
| Lecture | Reading Material/hints | Notes |
|---|---|---|
| 1. Prepare knowledge and coding in Java | - reflect in Java - anonymous inner class - Proxy in Java - abstract and interface - thread start() and runnable |
RPC and serialization |
| 2. Distribution File System（DFS） | Distribution File System (DFS) | |
| 3. MapReduce model | MapReduce处理系统 | |
| 4. MapReduce Coding | - 组合式MapReduce - 链式MapReduce - 迭代式MapReduce - C/C++ 与 python通信 |
MapReduce编程 |
| 5. Spark model | Spark 处理框架 | |
| 6. Spark Coding | - Spark Shell简单使用 - RDD操作 - Spark Submit |
Spark 编程 |
| 7. YARN and ZooKeeper | - Yarn之日志分析 |
- Yarn 资源管理框架 - ZooKeeper 元数据管理系统 |
| 8. DataFlow Framework | - Async-loop-died - Storm处理Stream Join的简单实例 |
流计算系统概述 |
| 9. Flink | - Flink 原理与实现：架构和拓扑概览 | 批流融合系统--Flink |
| 10. Spark v2 & Beam | 批流融合系统--展望 | |
| 11. 分布式图处理系统 | 分布式图处理系统--Pregel | |
| 12. 机器学习系统--mahout | 机器学习系统--mahout | |
| 13. 机器学习系统--GraphLab | 机器学习系统--GraphLab | |
| 14. 机器学习系统-- Parameter Server | 机器学习系统--Parameter Server |
Lab
- RPC model in Java
- hadoop安装与配置
- hadoop编程实践（一）
- hadoop编程实践（二）
- hadoop编程练习
- Hadoop 编程总结
- spark安装与配置
- spark编程实践
- spark编程练习
- Spark 编程总结
- 使用 Docker 配置 hadoop/spark
- 使用 docker 搭建 spark(2.3.1) 集群
- ZooKeeper配置及简单使用
- Yarn框架下的系统部署
- Storm部署与运行
- Storm编程练习
- Storm 编程总结
- SparkSteaming使用
- Flink安装及使用
- Flink编程练习（一）
- Flink编程练习（二）
- 常用图算法实现--Hadoop
- 常用图算法实现--Spark
- 常用图算法实现--Flink
- Giraph配置及使用
- Flink迭代小记
Recap
This GitBook notes are maintained by zealscott.