自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 SparkContext的初始化(仲篇)——SparkUI、环境变量及调度

任何系统都需要提供监控功能,用浏览器能访问具有样式及布局,并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务,它的构成如图3-1所示。

2016-02-23 08:45:46

阅读数 19114

评论数 4

原创 SparkContext的初始化(伯篇)——执行环境与元数据清理器

第3章 SparkContext的初始化 “道生一,一生二,二生三,三生万物。”——《道德经》 本章导读: SparkContext的初始化是Driver应用程序提交执行的前提,本章内容以local模式为主,并按照代码执行顺序讲解,这将有助于首次接触Spark的读者理解源码。读者朋友如果能边跟踪代...

2016-02-16 10:41:30

阅读数 10720

评论数 9

原创 SparkContext的初始化(叔篇)——TaskScheduler的启动

本文主要介绍TaskScheduler的启动过程。包括:创建LocalActor、 ExecutorSource的创建与注册、ExecutorActor的构建与注册、Spark自身ClassLoader的创建及启动Executor的心跳线程。 <img src="http://im...

2016-02-29 12:28:10

阅读数 7157

评论数 4

原创 JAVA泛型的基本使用

Java1.5版本推出了泛型,虽然这层语法糖给开发人员带来了代码复用性方面的提升,但是这不过是编译器所做的一层语法糖,在真正生成的字节码中,这类信息却被擦除了。笔者发现很多几年开发经验的程序员,依然不善于使用Java泛型,本文将从Java泛型的基本使用入手,在今后的多篇博文里,对泛型的使用做个总结...

2016-02-29 10:40:01

阅读数 3597

评论数 0

提示
确定要删除当前文章?
取消 删除