666 收藏了
Python时间处理之datetime类datetime类是Python处理日期和时间的标准库。datetime是date与time的结合体,包括date与time的所有信息。 它的构造函数如下: 1 dat...
666 收藏了
Python时间处理之datetime类datetime类是Python处理日期和时间的标准库。datetime是date与time的结合体,包括date与time的所有信息。 它的构造函数如下: 1 dat...
datetime类是Python处理日期和时间的标准库。datetime是date与time的结合体,包括date与time的所有信息。 它的构造函数如下: 1 dat...
其实没有SCT定律,这个是我根据分布式CAP定律瞎造的。不过呢,从大数据这个行业来说,我们始终都是在存储,计算和时间进行权衡,博弈以及突破。某种程度上来说,当拥有其中两者,可...
判断文件逻辑那块,楼主判断首字母是否为"Q" ,是不是不太妥当?
此外有没有办法 不通过排除法 来直接判断是文本类型?
java 判断hdfs文件的文件类型因为java读取不同的文件类型(text,sequence,orc等)会使用不用的api去读取数据,所以还做了文件类型的判断,这里只做了text和sequence的判断,...
Presto技术总结 因为内容过长分为了上下两集 1.环境准备 Hadoop环境,Hive环境,mysql环境,ssh环境,presto本机debug环境 推荐hadoop...
亿级日志log4j2接入Kafka方案 背景描述 一个高访问量高并发高响应的系统,每天大概5~6亿的请求日志量,日志接入大数据平台,第一版使用的是Flume方式,后来因为需要...
经过评测:presto的平均性能是hive的10倍 presto优点:数据源具有完全解耦,高性能,以及对ansi sql的支持特性,使得presto在etl,实时数据计算、a...
presto(九)——restful api之execute1、看状态 2、看执行方法 ExecuteResource.java(@Path("/v1/execute")) 有没有发现跟上一节的很相似: QueryResource.j...
场景 有时我们通过sparkSQL来分析数据,当使用Join操作时,最让人头疼的莫过于数据倾斜了,如果你是大表关联小表的情况,那情况还不是很糟糕,可以使用MAPJOIN来破解...
666
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现Runtime.getRuntime().exec()执行JVM之外的程序:常见的几种陷阱 前言 日常java开发中,有时需要通过java运行其它应用功程序,比如shell命...
最近 Presto 社区在它的发源地 Facebook 公司举行了它历史上的第一次 Summit, 目前 PPT 已经都放出来了,看了一遍,还是有不少收获的,这里介绍一下 F...
Presto实现原理和美团的使用实践 -http://tech.meituan.com/presto.html Presto执行查询过程简介既然Presto是一个交互式的查询...
前言 这两年做streamingpro时,不可避免的需要对Spark做大量的增强。就如同我之前吐槽的,Spark大量使用了new进行对象的创建,导致里面的实现基本没有办法进行...
运行环境 java 1.8 scala 2.11.0 maven 3.3.9 idea 2016 spark 2.0.2 1完成以下配置 java环境变量 scala环境变量...
总结一下个人看了一些Spark性能调优文章之后的理解,主要框架来自于meituantech,会在此框架上加入个人关注点,目录如下, Overview Spark的瓶颈一般来自...
背景 一张ip表,一张ip地理信息表,地理信息表每条数据包含了ip地址的起点和终点以及一些地理信息, 需要用 ip 去关联 gep_ip 中匹配相应的信息 。 例如:数据条...
需求 spark应用程序中,只要task失败就发送邮件,并携带错误原因。 背景 在spark程序中,task有失败重试机制(根据 spark.task.maxFailures...
场景 一个 spark 应用的产生过程: 获取需求 -> 编写spark代码 -> 测试通过 -> 扔上平台调度。往往应用会正常运行一段时间,突然有一天运行失败,或是失败了一...