Spark2.1.0之剖析spark-shell

        通过在spark-shell中执行word count的过程,让读者了解到可以使用spark-shell提交Spark作业。现在读者应该很想知道spark-shell究竟做了什么呢?脚本分析        在Spark安装目录的bin文件夹下可以找到spark-shell,其中有代...

2018-04-20 09:30:10

阅读数 2566

评论数 0

Spark1.6.0功能扩展——为HiveThriftServer2增加HA

前言 HiveThriftServer2是Spark基于HiveServer2实现的多Session管理的Thrift服务,提供对Hive的集中式管理服务。HiveThriftServer2作为Yarn上的Application,目前只支持yarn-client模式——即Driver运行在本地,A...

2018-04-16 10:10:36

阅读数 1320

评论数 0

Spark内核设计的艺术:架构设计与实现——前言

前言为什么写这本书         给这本书写前言,让我想起了两年前给《深入理解Spark:核心思想与源码分析》一书写前言的经历。这让我不禁想起崔护的《题都城南庄》,诗的内容是:去年今日此门中,人面桃花相映红。人面不知何处去,桃花依旧笑春风。         Spark从核心思想和架构来看,它依然...

2018-04-11 14:57:25

阅读数 3718

评论数 18

Spark2.1.0之初识Spark

        随着近十年互联网的迅猛发展,越来越多的人融入了互联网——利用搜索引擎查询词条或问题;社交圈子从现实搬到了Facebook、Twitter、微信等社交平台上;女孩子们现在少了逛街,多了在各大电商平台上的购买;喜欢棋牌的人能够在对战平台上找到世界各地的玩家对弈。在国内随着网民数量的持续...

2018-04-09 09:48:51

阅读数 4041

评论数 12

提示
确定要删除当前文章?
取消 删除