@Kent_Yao 这个是hash(a, rand)这种形式吧？
如何避免Spark SQL做数据导入时产生大量小文件什么是小文件？ 生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件...
发简信
IP属地：辽宁
-
-
骗人培训的勿信
外企面试，哪有你想象的那么难!（已收埃森哲、NTTDATA等8家外企offer）
一、写作背景 1.我之前在具有外企文化的Kyligence实习了半年，后面又拿了埃森哲、NTT等8家美日欧公司的offer。最后选了一家西班牙公司做大数据开发，全英工作环境，...
-
骗人转行，天打雷劈
两年车间技术员转型大数据开发，说说转型这点事儿
黄晓明(化名)是我学习群的一个小伙伴，同时也是我大学的直系学长，都是车辆工程专业。不过我比他比较早脱离苦海，他是从事两年车辆设计行业才转型的。在6月份找的我规划学习路线，8月...
-
实话实说：骗的钱迟早是要还的，你的良心不会痛吗？人在做，天在看，出来混迟早是要还的。
其实，我曾经想当个北漂
国庆抽了几天和我老婆去了趟北京，去这座我曾经向往，但最后没去成的城市。 4年前，那时我刚满18岁，在期末考结束的当天突发奇想买了隔天去北京的火车票。那是我第一次自己出远门，也...
-
commons-dbutils工具介绍及实战
1.commons-dbutils简介 commons-dbutils 是 Apache 组织提供的一个开源 JDBC工具类库，它是对JDBC的简单封装，学习成本极低，并且使...
-
awk脚本编程实例讲解（判断，循环，数组）1.条件判断 if语句格式：{if(表达式) {语句；语句；...}} 统计系统用户数 0-10001系统用户，大于1000普通用户 #awk -F: '{if($3>0 &...
-
awk基本用法及案例详解0 引言 awk是一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。 awk工作原理： #awk -F : '{print $...
-
-
Mysql分库分表备份方法实现1.mysqldump工具介绍 mysqldump命令是MySQL数据库自带的一个备份命令，它支持数据库全备也可以指定库进行备份，它备份的文件以文件形式备份，且文件内容都是S...
-
一种Hbase数据备份策略及方法0.引言 Hbase在大数据处理中地位至关重要，有的公司会将Hbase作为原始数据接入层，那么Hbase的数据备份就显得至关重要，那么如何备份呢？这里我们引入Hbase的一个...
-
git 上传任务用户显示错误修改方法0.问题描述 使用git时候登陆自己的账号但每次提交任务显示的是其他人的信息。 1. 原因 git配置信息中用户名及用户邮箱显示是其他人，可以通过git config -l进...
-
用shell脚本封装git命令提高你的工作效率0.前言 工作中我们使用git提交代码，但是经常使用的几个命令不免有点麻烦，而且每次都这么提交有点啰嗦和浪费时间。本文将教你如何通过shell脚本封装git命令，一个命令解...
