自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Spark2.1.0——广播管理器BroadcastManager

BroadcastManager用于将配置信息和序列化后的RDD、Job以及ShuffleDependency等信息在本地存储。如果为了容灾,也会复制到其他节点上。创建BroadcastManager的代码实现如下。 val broadcastManager = new BroadcastMa...

2019-04-28 10:25:32

阅读数 1345

评论数 0

原创 累计三年,断断续续的管理经验

累计三年,断断续续的管理经验序言一、融入二、豁达三、担当四、勿好为人师五、人尽其能六、谦卑七、平等互信八、员工激励结尾 序言 在写标题的时候,本来要写成《累计三年,断断续续的项目管理经验》。后来想想,以我对管理的认识和感悟,管理好一个项目真的不是只管理项目这么简单。 何为断断续续,是因为这四年的管...

2019-04-09 16:18:38

阅读数 414

评论数 0

原创 Spark2.1.0——存储体系概述

本书在5.7节曾介绍过存储体系的创建,那时只为帮助读者了解SparkEnv,现在是时候对Spark的存储体系进行详细的分析了。简单来讲,Spark存储体系是各个Driver、Executor实例中的BlockManager所组成的。但是从一个整体出发,把各个节点的BlockManager看成存储体...

2019-04-09 15:49:38

阅读数 17702

评论数 0

原创 Spark常见故障诊断(一)

本人维护的Spark主要运行在三个Hadoop集群上,此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。用户在使用的过程中难免会发生各种各样的问题,为了对经验进行沉淀,也为了给Spark用户提供一些借鉴,这里将对各...

2019-04-01 09:29:18

阅读数 2324

评论数 4

提示
确定要删除当前文章?
取消 删除