Hadoop2.6.0中YARN底层状态机实现分析

Hadoop2.x.x版本的底层实现中作了很多优化:用状态机对各种对象生命周期和状态转移进行管理;采用事件机制避免线程同步与阻塞;采用Protocol Buffers优化RPC性能;采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析,在这个过程中,会捎带一些事件的内容。

2016-04-29 08:30:19

阅读数 23466

评论数 0

Hadoop2.6.0的事件分类与实现

说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。

2016-04-26 10:45:05

阅读数 12760

评论数 2

Hadoop2.6.0配置参数查看小工具

使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优。性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。本文将针对这一需求,基于Hadoop开发一个简单实用的工具查询查看各种参数。

2016-04-21 15:31:50

阅读数 16907

评论数 0

Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

学习Hadoop的同学们,一定知道如果运行Hadoop自带的各种例子。hadoop-mapreduce-examples项目中还提供了这些例子,本文就其中例子的执行方式进行分析。看看它能否让我们学习mapreduce编程变得更加容易。

2016-04-18 11:41:44

阅读数 15428

评论数 0

Hadoop2.6.0的FileInputFormat的任务切分原理分析(即如何控制FileInputFormat的map任务数量)

前言 首先确保已经搭建好Hadoop集群环境,可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时,发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言,控制map任务数量一直是一个困扰我的问题。好在经过很多摸索...

2016-04-12 13:42:17

阅读数 15237

评论数 0

Linux下Hadoop2.6.0集群环境的搭建

本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS、Hbase分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。

2016-04-11 11:50:43

阅读数 19509

评论数 18

Spark如何使用Akka实现进程、节点通信的简明介绍

Akka是一款提供了用于构建高并发的、分布式的、可伸缩的、基于Java虚拟机的消息驱动应用的工具集和运行时环境。从下面Akka官网提供的一段代码示例,可以看出Akka并发编程的简约。

2016-04-05 12:08:44

阅读数 9275

评论数 3

Tomcat7.0源码分析——server.xml文件的加载与解析

作为Java程序员,对于tomcat的server.xml想必都不陌生。本文基于Tomcat7.0的Java源码,对server.xml文件是如何加载和解析进行分析。

2016-04-01 13:05:00

阅读数 11993

评论数 9

提示
确定要删除当前文章?
取消 删除