1. in2csv xxx.xlsx > xxx.csv excel转csv一行代码搞定，效率很高，转化后原excel不会消失。
2. 1 转化后，在windows打开会乱码，所以需要用代码进行转化为utf-8格式。
只有转化为utf-8才能进行2个csv进行合并，否则合成的文件为空的csv文件。
3. csvstack 01.csv 02.csv > 03.csv 两个CSV文件合并。
大前提01 02连个csv文件必须是utf-8,合并前必须转化为utf-8否则，合并的文件为一个 空数据的csv文件.
Excel转CSV
csvkit这个python库来解决。主要是通过命令行执行很效率，不用使用太多的循环语句进行转换
安装
- 官方
https://csvkit.readthedocs.io/en/latest/tutorial/1_getting_started.html pip install csvkit
上面安装可能报错，怎么解决呢，那就是使用移花接木嫁接法。
-
步骤1：
大前提pip38 install virtualenv已经装好了创建一个项目比如ccc，给他整一个虚拟目录virtualenv -p D:\software\python37\python.exe I:\python20\softwaredate\ccc\env -
步骤2：pip38 install pqi.依次如下图输入命令：
目的是更换国内源
image.png -
步骤3：
pi38 install csvkit- 检查csvkit版本：
pip38 show csvkit
image.png
- 检查csvkit版本：
-------------------------------------------------------分割线--------------------------------------------
前面步骤是 创建一个ccc项目，并且更换pip的国内源，安装好了csvkit，接下来是导出安装的明细，给其他地方安装
pip38 freeze > csvkit.txt先导出上面虚拟环境在相关包pip38 install -r csvkit.txt在你需要安装的项目执行就可以了
csvkit.txt 导出内容
agate==1.6.1
agate-dbf==0.2.2
agate-excel==0.2.3
agate-sql==0.5.6
Babel==2.9.0
csvkit==1.0.5
dbfread==2.0.7
docopt==0.6.2
et-xmlfile==1.0.1
greenlet==1.0.0
isodate==0.6.0
leather==0.3.3
openpyxl==3.0.7
parsedatetime==2.6
pqi==2.0.6
python-slugify==4.0.1
pytimeparse==1.1.8
pytz==2021.1
six==1.15.0
SQLAlchemy==1.4.2
text-unidecode==1.3
xlrd==2.0.1
使用：
- 打开一个exce l文件：
in2csv ne_1033_data.xlsx - excel转csv:
in2csv ne_1033_data.xlsx > data.csv - 合并2个csv文件：
csvstack ne_1033_data.csv ks_1033_data.csv > region.csv - 将csv转换为json:
csvjson data.csv > data.json
演练
os.system("in2csv csv001.xlsx") # 读 excel文件
os.system("in2csv csv001.xlsx > csv111.csv") # excel转化为 csv文件 转化后excel文件还存在
# os.system("in2csv csv111.csv > csv112.xlsx")# csv转excel不行
**之前excel转化成CSV的两个文件 csv111.csv 和csv112.csv 进行合并报错了 **
#重点来了 坑准备
from scripts.handle_file import HandleFile
print(HandleFile.file_encoding("csv001.csv"))
os.system("in2csv csv001.xlsx > csv112.csv")
os.system("csvstack csv112.csv csv111.csv > add1.csv") # csv112 csv111没转成utf-8之前两文件进行合并
*报错如下
Your file is not "utf-8-sig" encoded. Please specify the correct encoding with the -e flag or with the PYTHONIOENCODING environment variable. Use the -v flag to see the complete error. sys:1: ResourceWarning: unclosed file <_io.TextIOWrapper name='csv112.csv' mode='rt' encoding='utf-8-sig'>
哇哇55555 居然用csvkit库转化成的csv 两个结构数据一模一样不能合并 详细看下图。不服啊 继续想办法 那么想看看这个两个文件csv111 csv112是什么编码可以用chardet这个库自己代码识别
csv111 csv112 识别出来的代码居然是EUC-KR，csvkit代码报出来的是utf-8-sig。靠这是什么贵，先不管
发现一个问题，csvkit库将excel转化成csv之后，编码并不是utf-8.需要我们自己用工具转化或者代码转化成utf-8.再使用csvstack 01.csv 02.csv > 03.csv 转化才会成功。
合成的数据如下
总结：
- in2csv xxx.xlsx xxx.csv excel转csv一行代码搞定，效率很高，转化后原excel不会消失。
- 1 转化后，在windows打开会乱码，所以需要用代码进行转化为utf-8格式。只有转化为utf-8才能进行2个csv进行合并，否则合成的文件为空的csv文件。
-
csvstack 01.csv 02.csv > 03.csv两个CSV文件合并。大前提01 02连个csv文件必须是utf-8,合并前必须转化为utf-8否则，合并的文件为一个 空数据的csv文件.
