发简信
IP属地：北京
-
-
哔哩哔哩：李文举说
-
终身学习者、大学教师。稍微懂一点儿写作、演讲、Python和机器学习。欢迎微信关注并置顶我的公众号“玉树芝兰”(nkwangshuyi)。我已委托“维权骑士”（rightknights.com）为我的文章进行维权行动。
-
貌似2.0以后的版本都不需要partitionBy 了，hive建表的时候指定分区就可以，可以试试直接插入或用saveAsTable
Spark 写入数据到Hive分区表
0.登录hive数据库，这里采用beeline 1.创建数据库 有两种方式，可以在hive客户端或beeline连接hive创建，也可以在spark中创建，以hive she...
-
Spark 基础概念释义
1.RDD：弹性分布式数据集，弹性体现在可以在磁盘和内存间自由切换；基于lineage(血统)的容错；task失败特定次数重试；stage失败重试；数据分片的高度弹性（rep...
-
永不止步 Keep Moving
-
学习笔记总结<br><br>github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxy2953396112" target="_blank">https://github.com/xy2953396112</a><br><br><br><br><br>
-
行到水穷处，坐看云起时<br>座右铭：Do not wait , just do it!
-
如何保证消息队列的高可用和幂等性以及数据丢失，顺序一致性（1）RabbitMQ的高可用性 RabbitMQ是比较有代表性的，因为是基于主从做高可用性的，我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式...
-
专注于大数据平台化、数据可观测性和数据可视化
-
Mongo、Redis、Memcached对比及知识总结存储原理（持久化） MongoMongo的数据将会保存在底层文件系统，因此存储容量远大于redis和memcached。一个database中所有的collections以及...
-
新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
-
-
什么都要会一点，这样装起逼来才不会尴尬。
-
Nignx 配置反向代理
解决问题：使用nignx完成http转https和二级域名转发，将已有http通信的web前端转为https,包括主域和一个二级域名，这两个domain解析到同一ip。Ngi...
-
Ubuntu 更新python2.7版本至最新
系统自带的python2版本为python2.7.6，版本太低，需要更新至2.7最新，直接下载2.7.15更新后有各种问题，在此记录下整个过程。最后使用python源码安装，...
-
Spark 写入数据到Hive分区表
0.登录hive数据库，这里采用beeline 1.创建数据库 有两种方式，可以在hive客户端或beeline连接hive创建，也可以在spark中创建，以hive she...
-
数据开发、数据分析、数据挖掘、算法研究、数据产品！
