场景:使用Kettle进行简单的数据插入时,出现以下Prepared statement contains too many placeholders错误
数据库:MySQL
先上错误截图:
转换设计:
报错信息:
表输出设计:
DB连接:
以上错误提示Prepared statement contains too many placeholders(占位符过多),这是由于我把“提交记录数量”设为1000,而要插入记录的表字段有131个,所以要进行批量插入时需要131*1000=131000 > 65535 ,故而报错。
解决方案:
方案1:把DB连接中的 rewriteBatchedStatements 给设置为false(或者去掉),不过这个操作会影响数据的插入速度。
方案2:更改表输出的设计。确保131个输出字段的和提交记录数量的乘积不超过65535。比如把提交记录数量由1000更改为450(131*450=58950 < 65535)
参考网址1:http://www.cnblogs.com/chenjianjx/archive/2012/08/14/2637914.html
网址1中内容概括:对delete和update,驱动所做的事就是把多条sql语句累积起来再一次性发出去;而对于insert,驱动则会把多条sql语句重写成一条风格很酷的sql语句,然后再发出去。官方文档说,这种insert写法可以提高性能(”This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements”)