问题 本周工作中遇到一个问题，同事用Python和公司的db客户端在团队的测试框架上实现连接池功能，db连接用的是pymysql。但在跑demo时，出现了诡异的现象： 多次s...
发简信
IP属地：上海
-
记一次pymysql查询不到表中最新插入的数据的问题
-
MySQL配置改为read committed后是不是，就不用设置autocommit为True了
记一次pymysql查询不到表中最新插入的数据的问题
问题 本周工作中遇到一个问题，同事用Python和公司的db客户端在团队的测试框架上实现连接池功能，db连接用的是pymysql。但在跑demo时，出现了诡异的现象： 多次s...
-
sklearn 增量学习
对于大数据集，在训练时会出现MemoryError 。sklearn提供了几种办法，一是从根本上节省空间，二是流式读取，三是节省每次运行时的数据量。 1. 流式数据 要给算法...
-
HIVE常用命令之ANALYZE TABLE命令简述上次讲过HIVE 的一个常用命令 MSCK REPAIR TABLE ， 这次讲讲HIVE的ANALYZE TABLE命令，接下来还会讲下Impala的 COMPUTE ST...
-
HIVE常用命令之MSCK REPAIR TABLE命令简述
工作中发现很多同事连基础的hive命令都不知道，所以准备写一个系列把hive一些常用的命令进行一个总结。第一个讲的命令是MSCK REPAIR TABLE。 MSCK REP...
-
重磅 解决 hadoop job 卡死 根源问题做大数据&&算法 其实最重要的三件事 ，就是 管理数据 和集群运维 模型训练，一旦 远离这三个主题，大数据都无法发挥它应用的作用。废话不多说，这几天主要是采坑了。我认为现在...
-
-
优秀的开发=扎实的计算机基础+产品化思维
前言 编程是最重要也是最不重要的事 这是因为“编程是最重要也是最不重要的事”这是因为编程作为把思维变为实现的这个循环的最后一步(然后写好的程序会成为新的思考输入和基础，开始新...
-
java编译期和运行期何为运行期？何为编译期？ 编译期是指编译器将源代码翻译为机器能识别的代码，java为编译为jvm认识的字节码文件。运行期则是指java代码的运行过程。 编译期编译期 举个例子...
-
Netty入门教程——认识Netty什么是Netty？ Netty 是一个利用 Java 的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。Netty 是一个广泛使用的 J...
-
Elasticsearch趟坑记——后台数据篇背景： 项目隶属于用户画像服务，为了更好的支持前端查询服务，决定将原有的HBase数据源切换成Elasticsearch(以下简称ES)，从k-v型数据库切到nosql。本以...
-
hdfs文件格式比较Hadoop中的文件格式大致上分为面向行和面向列两类： 面向行：同一行的数据存储在一起，即连续存储。SequenceFile,MapFile,Avro Datafile。采用...
-
《利用Python进行数据分析·第2版》第1章 准备工作《利用Python进行数据分析·第3版》新版上市[https://u.jd.com/W8xSkzl]，新版使用的是Pandas 1.4，更新了不少内容。为了帮助大家学习，这次...
-
vnpy for Mac 安装填坑
vnpy 是个基于python的开源量化交易框架，github地址：https://github.com/vnpy/vnpy。 官方文档主要介绍的使用环境是windows和U...
-
Python-爬取知乎某个问题下的所有回答
作为一个Python小白，在经过一个大牛的安利下，迅速将魔爪伸向了Python。作为一个小白，今天分享下已经被大牛们玩坏的知乎爬虫，各位看官你看好了。 1. 我为什么要爬取回...
-
再谈MySQL auto_increment空洞问题
在项目中偶尔会有这种需求，用户通过第三方系统登录时如果尚未注册，则自动给用户注册，注册过的用户则自动登录，更新最近登录时间等信息。有时候图省事可能就直接INSERT INTO...
