解析csv数据大量数据导入mysql的方法

mysql自己有个csv引擎,可以通过这个引擎来实现将csv中的数据导入到mysql数据库中,并且速度比通过php或是python写的批处理程序快的多。 具体的实现代码示例:

load data infile '/tmp/file.csv' into table _tablename (set character utf8)
fields terminated by ','
enclosed by '"'
lines terminated by '\r\n';

这段代码中涉及的一些关键字的解释如下:

fields terminated by '':这是指出csv文件中字段终止符,也就是数据之间的分隔符;
enclosed by '':指出封套符;
lines terminated by '':指行终止符

在csv文档(RFC4180)中详细介绍了csv的格式,其中的要点有:

(1)字段之间以“,”(逗号)间隔,数据行之间使用\r\n分隔;

(2)字符串以半角双引号包围,字符串本身的双引号用两个双引号表示。 通过以上的解释,详细对于数据导入代码应该有更好的理解了。

同样的,csv数据能够导入mysql数据库中,mysql中的数据表也能导出csv文件,导出的代码示例:

select * from tablename into outfile '/tmp/data.csv'
fields terminated by ','
optionally enclosed by '"'
lines terminated by '\n';

当将数据库中的数据导出到文件后,要再将数据导入到数据库中,必须遵守导出时的文件中定义的格式。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • MYSQL 基础知识 1 MySQL数据库概要 2 简单MySQL环境 3 数据的存储和获取 4 MySQL基本操...
    Kingtester阅读 12,338评论 5 116
  • 文/freenik 将外部数据导入(import)数据库是在数据库应用中一个很常见的需求。其实这就是在数据的管理和...
    freenik阅读 18,701评论 1 11
  • MySQL进阶讲义 这一章我们开始进一步探讨MySQL的使用,从MySQL的介绍开始,接触MySQL的安装、命令行...
    厲铆兄阅读 6,582评论 0 44
  • 小时候 常常不知天高地厚 总觉得 我们都一样 仰望同一片星空 追逐同一个梦想 与周围人玩的开、合得来 可越长大 越...
    广电1702B刘宁宁32阅读 1,423评论 0 3
  • ❤️❤️炒蛋常用食材,易存储,适合做配菜 鸡蛋,香肠,黄瓜,胡萝卜,杏鲍菇 ❤️❤️鸡蛋饼 ❤️❤️银耳汤,红豆汤...
    鱼小晴阅读 2,312评论 0 1