Spark2.1.0——广播管理器BroadcastManager

BroadcastManager用于将配置信息和序列化后的RDD、Job以及ShuffleDependency等信息在本地存储。如果为了容灾,也会复制到其他节点上。创建BroadcastManager的代码实现如下。 val broadcastManager = new BroadcastMa...

2019-04-28 10:25:32

阅读数 1287

评论数 0

累计三年,断断续续的管理经验

累计三年,断断续续的管理经验序言一、融入二、豁达三、担当四、勿好为人师五、人尽其能六、谦卑七、平等互信八、员工激励结尾 序言 在写标题的时候,本来要写成《累计三年,断断续续的项目管理经验》。后来想想,以我对管理的认识和感悟,管理好一个项目真的不是只管理项目这么简单。 何为断断续续,是因为这四年的管...

2019-04-09 16:18:38

阅读数 383

评论数 0

Spark2.1.0——存储体系概述

本书在5.7节曾介绍过存储体系的创建,那时只为帮助读者了解SparkEnv,现在是时候对Spark的存储体系进行详细的分析了。简单来讲,Spark存储体系是各个Driver、Executor实例中的BlockManager所组成的。但是从一个整体出发,把各个节点的BlockManager看成存储体...

2019-04-09 15:49:38

阅读数 17646

评论数 0

Spark常见故障诊断(一)

本人维护的Spark主要运行在三个Hadoop集群上,此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。用户在使用的过程中难免会发生各种各样的问题,为了对经验进行沉淀,也为了给Spark用户提供一些借鉴,这里将对各...

2019-04-01 09:29:18

阅读数 1653

评论数 4

提示
确定要删除当前文章?
取消 删除