一、HDFS现有不足： 1、不适低延时数据访问2、无法高效的大量小文件进行存储出现原因：· 小文件会占用NameNode大量内存来存储该文件的目录和块信息，每个小文件需要15...
IP属地：北京
-
【大数据技术】HDFS原理性知识总结 -
JVM内存模型和GC的解析JVM调优是调整：方法区和堆（主要是堆） 栈管运行，堆管存储 堆和方法区是所有线程共享的内存区域；栈和程序计数器是每个线程私有的内存区域。注：由于栈是每个线程私有的，栈空间是...
-
【大数据技术】flume架构和应用一、flume架构 一个flume进程分为三个部分：source、channel、sink，总体称为一个Agent，是一个JVM进程 1）source 作用：读取数据，传送（...
-
HBase从入门到放弃HBase解决了什么问题： 1）HBase主要解决在Hdfs上可以随机读写的问题 2）Hive只能查询，不能随机读写 一、HBase依赖于Zookeeper和HDFS 1）Z...