Spark2.1.0——Spark环境更新

阅读提示:本文是对SparkContext中对用户通过--jars(或spark.jars)和--files(或spark.files)参数添加的外部资源进行的分析。 用户提交任务时往往需要添加额外的jar包或其它文件,用户任务的执行将依赖这些文件。这些文件该如何指定?任务在各个节点上运行时又是...

2018-12-27 11:56:35

阅读数 588

评论数 4

Spark2.1.0——ContextCleaner的工作原理分析

ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。 创建ContextCleaner 创建Con...

2018-12-17 09:54:32

阅读数 5684

评论数 0

Spark2.1.0——Executor动态分配的实现原理

         ExecutorAllocationManager的作用已在《Spark2.1.0——SparkContext概述》一文有过介绍,更为准确地说,ExecutorAllocationManager是基于工作负载动态分配和删除Executor的代理。简单讲,ExecutorAlloc...

2018-12-10 09:43:15

阅读数 6542

评论数 2

Spark2.1.0——创建SparkUI的分析

阅读建议:阅读本文前,最好先阅读《Spark2.1.0——SparkUI的实现》和《Spark2.1.0——WebUI框架体系》。          在SparkContext的初始化过程中,会创建SparkUI。有了对WebUI的总体认识,现在是时候了解SparkContext是如何构造Spa...

2018-12-03 09:47:25

阅读数 614

评论数 0

提示
确定要删除当前文章?
取消 删除