kettle写入mysql性能优化2019-02-28

自己真实测试过,至少速度可以提高5倍以上。

首先修改mysql的配置文件

vim /etc/my.cnf
根据自己服务器信息修改对应参数

join_buffer_size = 1024M
sort_buffer_size = 10M
read_rnd_buffer_size = 10M

innodb_flush_log_at_trx_commit = 2
innodb_write_io_threads = 16
innodb_flush_method = O_DIRECT
thread_cache_size=64

保存完配置文件后记得重启mysql服务。
service mysqld restart

配置mysql数据源连接
image.png

第一个参数提高速度明显,当然其他参数也要配置

配置数据库提交和并发数
image.png

image.png

上面这个小的Table output左上角有一个5,这是并发数,设置方法为右键 change Numbers of copy**根据自己的情况做配置。

更改转换的数据集记录数和feedback size
image.png

同样根据自己情况做设置。

我自己尝试过如果是小表会是步行和火箭的速度,普通大表起码也在4-5倍左右。
加油!

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容