我的使用场景
数据太大,直接用R读取到内存太占地方,又想让用户快速检索到数据。那就把数据导入到数据库,存储到硬盘,快速检索然后只读取子集。
使用
最简单的方法见 https://zhuanlan.zhihu.com/p/360938402
补充和问题
- 使用
.import sample.csv sample
命令直接将文本数据导入数据库的表中。但是要使用最近版本的 sqlite3。 我centos安装的3.5版本就会出现错误,必须先建立表才能导入,不科学。 - 每个表默认最大列是2000,超过就报错了,查询解决方法为在软件编译的时候附加修改最大限制的参数.
- Rstudio 不会返回报错原因,直接崩溃,全靠猜
- 列名不能重复