Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。我们需要根据不同的业务场景以及数据情况，对Spark作业进行综合性的分析，然后进行...
发简信
IP属地：广东
-
[整理] Spark性能优化指南 -
Hadoop+Hbase+ZooKeeper集群安装方法
hadoop的下载地址hbase的下载地址zookeeper的下载地址 1、 主机配置如下：（添加到/etc/hosts文件里面） 2、安装jdk1.6.2.X 3、添加j...
-
“正确的夸人方式。”
你想一下你身边有没有那样的人：明明是想夸你的，结果变成损你。 比如说本来是要夸你漂亮的，结果却冒出一句“你好像瘦了哎。” 真是的，你管我，闲吃萝卜淡操心。 真心不是所有的夸人...
-
0x10 SQL与NoSQL，数据桥梁SqoopSQL处理二维表格数据，是一种最朴素的工具，NoSQL是Not Only SQL，即不仅仅是SQL。从MySQL导入数据到HDFS文件系统中，最简单的一种方式就是使用Sqoo...
-
最靠谱的CDH5安装指南系统要求系统：CentOS 6.5Cloudera:CM5.2.0 + CDH 5.2.0内存：主节点4G内存以上，其他节点需要2G以上内存 Hadoop版本选择 目前Had...
-
基于Kafka+SparkStreaming+HBase实时点击流案例
前言 最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参...
-
Hbase BulkLoad机制Hbase 是一种基于Hadoop的Nosql的数据库，有高吞吐量的特点，由于近几年国内大数据的概念的快速兴起，Hbase也因为它的高吞吐量和快速的检索能力，得到了越来越多人...
-
Spark Streaming 中使用c3p0连接池操作mysql数据库
在Spark Streaming的应用程序中，有时候需要将计算结果保存到数据库中，为了高效这里使用批量插入，结合c3po连接池，说明一下使用方法。 数据计算完成后，在fore...
-
Hadoop 面试，有它就够了
Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和...
-
【源码剖析】- Spark 新旧内存管理方案（上）Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块。作为使用者的我们，搞清楚 Spark 是如何管理内存的，对我们编码、调试及优化过程会有很大...
-
【源码剖析】- Spark 新旧内存管理方案（下）上一篇文章【源码剖析】- Spark 新旧内存管理方案（上）[https://www.jianshu.com/p/2e9eda28e86c]介绍了旧的内存管理方案以及其实现类...
-
MapReduce教程之--MapReduce简介
MapReduce-简介 英文原文 MapReduce是一个软件框架，基于它编写出来的应用可以以并行计算的方式在多个计算机节点上处理大量的数据。MapReduce为分析海量复...
-
Hadoop 2.7.2 伪分布式安装笔记环境 Ubuntu Kylin 14.04 Hadoop 2.7.2 下载地址 安装目录 /home/hadoop/hadoop-2.7.2/ hadoop 用户创建之后一直...
-
HBase入门精要-百闻不如一Run零.导读 HBase，基于Google Bigtable实现的开源、分布式、可伸缩的列式存储数据库，诞生于Hadoop，也是Hadoop生态的重要一环，如今作为一个Apach...
