Spark大数据处理:技术、应用与性能优化 PDF 高清电子书 免费下载 完整版 在线阅读- 高飞网
现在已经01点45分了,请注意休息
Spark大数据处理

Spark大数据处理
技术、应用与性能优化

高彦杰
Spark 大数据
浏览人数:114
读者:               ...
  这是一本依据最新技术版本,系统、全面、详细讲解Spark的著作,作者结合自己在微软和IBM的实践经验和对Spark源代码的研究撰写而成。首先从技术层面讲解了Spark的体系结构、工作机制、安装与部署、开发环境搭建、计算模型、Benchmark、BDAS等内容;然后从应用角度讲解了一些简单的、有代表性的案例;最后对Spark的性能优化进行了探讨。

前言    
第1章Spark简介    
1.1 Spark是什么    
1.2 Spark生态系统BDAS    
1.3 Spark架构    
1.4 Spark分布式架构与单机多核架构的异同    
1.5 Spark的企业级应用    
1.5.1 Spark在Amazon中的应用    
1.5.2 Spark在Yahoo!的应用    
1.5.3 Spark在西班牙电信的应用    
1.5.4 Spark在淘 宝的应用    
1.6本章小结    
第2章Spark集群的安装与部署    
2.1 Spark的安装与部署    
2.1.1在Linux集群上安装与配置Spark    
2.1.2在Windows上安装与配置Spark    
2.2 Spark集群初试    
2.3本章小结    
第3章Spark计算模型    
3.1 Spark程序模型    
3.2弹性分布式数据集    
3.2.1 RDD简介    
3.2.2RDD与分布式共享内存的异同    
3.2.3 Spark的数据存储    
3.3 Spark算子分类及功能    
3.3.1Value型Transfolmation算子    
3.3.2 Key—Value型Transformation算子    
3.3.3 Actions算子    
3.4本章小结    
第4章Spark工作机制详解    
4.1 Spark应用执行机制    
4.1.1 Spark执行机制总览    
4.1.2 Spark应用的概念    
4.1.3应用提交与执行方式    
4.2 Spark调度与任务分配模块    
4.2.1 Spark应用程序之间的调度    
4.2.2 Spark应用程序内Job的调度    
4.2.3 Stage和TaskSetManager调度方式    
4.2.4Task调度    
4.3 SparkI/O机制    
4.3.1序列化    
4.3.2压缩    
4.3.3 Spark块管理    
4.4 Spark通信模块    
4.4.1通信框架AKKA    
4.4.2 Client、Master和Worker间的通信    
4.5容错机制    
4.5.1 Lineage机制    
4.5.2 Checkpoint机制    
4.6 Shuffle机制    
4.7本章小结    
第5章Spark开发环境配置及流程    
5.1 Spark应用开发环境配置    
5.1.1使用Intellij开发Spark程序    
5.1.2使用Eclipse开发Spark程序    
5.1.3使用SBT构建Spark程序    
5.1.4使用Spark Shell开发运行Spark程序    
5.2远程调试Spark程序    
5.3 Spark编译    
5.4配置Spark源码阅读环境    
5.5本章小结    
第6章Spark编程实战    
6.1 WordCount    
6.2 Top K    
6.3中位数    
6.4倒排索引    
6.5 Countonce    
6.6倾斜连接    
6.7股票趋势预测    
6.8本章小结    
第7章Benchmark使用详解    
7.1 Benchmark简介    
7.1.1 Intel Hibench与Berkeley Big Data Bench    
7.1.2 Hadoop GridMix    
7.1.3 Bigbench.Big Data Benchmark与TPC—DS    
7.1.4其他Benchmark    
7.2 Benchmark的组成    
7.2.1数据集    
7.2.2工作负载    
7.2.3度量指标    
7.3 Benchmark的使用    
7.3.1使用Hibench    
7.3.2使用TPC—DS    
7.3.3 使用BigDataBench    
7.4本章小结    
第8章BDAS简介    
8.1 SQL on Spark    
8.1.1使用Spark SQL的原因    
8.1.2 Spark SQL架构分析    
8.1.3 Shark简介    
8.1.4 Hive on Spark    
8.1.5未来展望    
8.2 Spark Streaming    
8.2.1 Spark Streaming简介    
8.2.2 Spark Streaming架构    
8.2.3 Spark Streanung原理剖析    
8.2.4 Spark Streaming调优    
8.2.5 Spark Streanung实例    
8.3GraphX    
8.3.1 GraphX简介    
8.3.2 GraphX的使用    
8.3.3 GraphX架构    
8.3.4运行实例    
8.4 MLlib    
8.4.1 MLlib简介    
8.4.2 MLlib的数据存储    
8.4.3数据转换为向量(向量空间模型VSM)    
8.4.4 MLlib中的聚类和分类    
8.4.5算法应用实例    
8.4.6利用MLlib进行电影推荐    
8.5本章小结    
第9章Spark性能调优    
9.1配置参数    
9.2调优技巧    
9.2.1调度与分区优化    
9.2.2内存存储优化    
9.2.3 网络传输优化    
9.2.4序列化与压缩    
9.2.5其他优化方法    
9.3本章小结   
看过本书的人还看过