一、原文件
单个数据文件100多万行，达到400MB，传统Excel软件软件束手无策，打开慢、打开后数据丢失、打开后无法操作，这个时候R就派上用场了
image.png
二、R代码
（一）载入R数据处理相关包
library(rJava)
library(xlsxjars)
library(xlsx)
library(readxl)
library(data.table)
library(dplyr)
（二）导入大数据文件并整理结构
fread( file.choose(),skip =0) -> bss_qf # 手工导入数据
city_order<-read_excel("d:\触点数据\R统计\固定表头.xlsx",
sheet="地市排序",skip=0)
names(bss_qf)
bss_qf <- bss_qf[,-5]
as.vector(city_order$地市) -> ds # 数据初步整理
（三）通过循环实现文件分割后导出
i=1
for (i in 1:length(ds)) {
as.character(ds[i]) -> j
assign(paste0(ds[i],"bss1901") , bss_qf %>% filter(地市 == j) )
write.csv(get(paste0(ds[i],"bss1901")),
file = paste0("d:\",ds[i],"bss-1901",".csv"),
row.names = F, quote = F) }
三、导出效果
R命令方式处理，每个文件用时3-4分钟，每个文件分割后效果，每个文件只有30MB左右
image.png
