SparkContext的初始化(叔篇)——TaskScheduler的启动

本文主要介绍TaskScheduler的启动过程。包括:创建LocalActor、 ExecutorSource的创建与注册、ExecutorActor的构建与注册、Spark自身ClassLoader的创建及启动Executor的心跳线程。 <img src="http://im...

2016-02-29 12:28:10

阅读数 7110

评论数 4

JAVA泛型的基本使用

Java1.5版本推出了泛型,虽然这层语法糖给开发人员带来了代码复用性方面的提升,但是这不过是编译器所做的一层语法糖,在真正生成的字节码中,这类信息却被擦除了。笔者发现很多几年开发经验的程序员,依然不善于使用Java泛型,本文将从Java泛型的基本使用入手,在今后的多篇博文里,对泛型的使用做个总结...

2016-02-29 10:40:01

阅读数 3577

评论数 0

SparkContext的初始化(仲篇)——SparkUI、环境变量及调度

任何系统都需要提供监控功能,用浏览器能访问具有样式及布局,并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务,它的构成如图3-1所示。

2016-02-23 08:45:46

阅读数 18989

评论数 4

SparkContext的初始化(伯篇)——执行环境与元数据清理器

第3章 SparkContext的初始化 “道生一,一生二,二生三,三生万物。”——《道德经》 本章导读: SparkContext的初始化是Driver应用程序提交执行的前提,本章内容以local模式为主,并按照代码执行顺序讲解,这将有助于首次接触Spark的读者理解源码。读者朋友如果能边跟踪代...

2016-02-16 10:41:30

阅读数 10536

评论数 9

提示
确定要删除当前文章?
取消 删除