DML LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (pa...
DML LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (pa...
DATABASE CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comme...
Read阶段的流程 根据InputFormat ①切片, getSplit() ②使用输入格式的RR读取数据, createRecordReader() 1.默认的TextI...
Yarn的作用 Yarn是一个分布式资源调度器组件。这个组件的主要作用是在每次接收到请求后,会查看当下的各个子节点的状况,统筹出运算资源的调度方案来保证任务可以顺利执行。通常...
1. 删除 主要有简单删除法和权重法。简单删除法是对缺失值进行处理的最原始方法。 (1) 简单删除法 此方法将存在缺失值的数据条目(对象,元组,记录)进行删除。这种方法简单易...
异常值的定义: 异常值,即在数据集中存在不合理的值,又称离群点,如下所示: 异常值判别方法: 1.简单统计法 对属性值进行一个描述性的统计,从而查看哪些值是不合理的。比如:对...
*Hive创建表的方式 1、使用create命令创建一个新表 例如: create table if not exists db_web_data.track_log(字段)...
##数据库与数据仓库 数据库:mysql,roacle,sqlserve,DB,MDB,... 数据仓库:Hive,是MR的客户端,也就是说不必要每台机器都安装部署Hive ...
##YARN上运行MapReduce程序 配置yarn上运行 1.配置yarn-env.sh(配置JAVA_HOME) 2.配置yarn-site.xml <#configu...
# Hadoop 优势 # -高可靠性:因为Hadoop假设计算的元素和存储会出现故障,因为他维护多个工作数据副本,在出现故障时可以对失败得节点重新分布处理; -搞扩展性:在...
##配置集群: 1.配置:hadoop-env.sh(修改其中JAVA_HOME) 2.配置:core-site.xml <--指定HDFS中NameNode的地址> <#p...