TDengine实战

快速体验的步骤

服务器部署TDenginge

  1. 下载最新rpm
  2. rpm -ivh TDengine-server-1.6.5.7-Linux-x64.rpm
  3. 卸载TDenginge rpm -e TDengine

关于如何快速体验和使用TDengine:
1、快速安装和上手(安装、运行、体验demo,基本半个小时之内完成): https://www.taosdata.com/cn/getting-started/
2、进阶:了解具体的建模、SQL语句、高级应用等(有基础的大概1-2天): https://www.taosdata.com/cn/documentation/
3、具体的一些Case应用详细指导: https://www.taosdata.com/cn/blog/
推荐2个:
( 1)、快速数据导入:https://www.taosdata.com/blog/2020/01/18/1166.html
(2)、用Docker容器快速搭建一个Devops监控Demo https://www.taosdata.com/blog/2020/02/03/1189.html
4、第三方测试对比工具和方法: https://www.taosdata.com/blog/2020/01/13/1105.html
5、 也可以直接参考我们自己的对比测试报表和测试方案、环境、源代码
(1)、TDengine与OpenTSDB对比测试
https://www.taosdata.com/blog/2019/08/21/621.html
(2)、TDengine与Cassandra对比测试
https://www.taosdata.com/blog/2019/08/14/573.html
(3)、TDengine与InfluxDB对比测试
https://www.taosdata.com/blog/2019/07/19/419.html

细节:

  1. 表名和列名不能跟关键字和函数名冲突。如avg等。
  2. TDengine的异步API均采用非阻塞调用模式。应用程序可以用多线程同时打开多张表,并可以同时对每张打开的表进行查询或者插入操作。需要指出的是,客户端应用必须确保对同一张表的操作完全串行化,即对同一个表的插入或查询操作未完成时(未返回时),不能够执行第二个插入或查询操作。
  3. TAG 里面的字符串 一定要带 ' ' 。
  4. 写数据的时候,发现盘写满了,忘记换数据目录了。赶紧把配置表的数据目录路径一改,再把原来的数据一迁移。发现不行。这是因为/var/lib/taos/tsdb 里面的软链接还没有改过来,所以找不到数据节点。
    5.对于一个应用场景,可能有多种数据特征的数据并存,最佳的设计是将具有相同数据特征的表放在一个库里,这样一个应用有多个库,而每个库可以配置不同的存储参数,从而保证系统有最优的性能。TDengine容许应用在创建库时指定上述存储参数,如果指定,该参数就将覆盖对应的系统配置参数。举例,有下述SQL:
create database demo days 10 cache 16000 ablocks 4

该SQL创建了一个库demo, 每个数据文件保留10天数据,内存块为16000字节,每个表平均占用4个内存块,而其他参数与系统配置完全一致。

  1. 导出数据时,可以使用taosdump 工具。慎用 -M 参数。这个参数会导出表或者库的结构。如果你不想使用库原来的配置,如cache,ablocks,tblocks 等参数,就不要加这个参数。
  2. 服务端写数据比客户端写数据快。我这边的数据是2倍左右。
  3. 有条件的话可以重写数据,没条件的话再选择导出数据,导出再导入还不如重写。
  4. 重点。如何根据自己的业务场景优化自己的数据库结构
    可以修改的参数配置有

days:数据文件存储数据的时间跨度,单位为天
keep:数据保留的天数
rows: 文件块中记录条数
comp: 文件压缩标志位,0:关闭,1:一阶段压缩,2:两阶段压缩
ctime:数据从写入内存到写入硬盘的最长时间间隔,单位为秒
clog:数据提交日志(WAL)的标志位,0为关闭,1为打开
tables:每个vnode允许创建表的最大数目
cache: 内存块的大小(字节数)
tblocks: 每张表最大的内存块数
ablocks: 每张表平均的内存块数
precision:时间戳为微秒的标志位,ms表示毫秒,us表示微秒

最有用的几个参数:days, ctime, tables, cache,ablokcs,tblocks。
这几个参数需要在创建库的时候就要配置好,否则会用系统默认配置。
占用总内存 = cache * ablocks * 你的总表数
TDengine里的vnode概念,主要是为了提高查询速度,有点map/reduce的感觉。因此,我们如果想要提高查询效率,可以想办法增加vnode的数量。tables参数可以用来调节vnode参数。tables越小,vnode就越多。但是也不能太小,这是一个工程问题。把vnode控制在10-100之间为最佳。
TDengine将一个vnode保存在持久化存储的数据切分成多个文件,每个文件只保存固定天数的数据,这个天数由系统配置参数days决定。切分成多个文件后,给定查询的起止日期,无需任何索引,就可以立即定位需要打开哪些数据文件,大大加快读取速度

  1. python安装问题
    服务器上安装python版taos驱动
pip3 install src/connector/python/linux/python3/

导入后,报错,找不到libtaos.so,是因为系统环境变量没有配。看下面的解决方案
https://github.com/taosdata/TDengine/issues/193

—————以上都是1.6版本的内容,由于TDengine已经更新到2.0,改动比较大,下面的内容都是2.0的——————

  1. TDengine 支持修改的数据库配置参数已经改变。

days:一个数据文件存储数据的时间跨度,单位为天,默认值:10。
keep:数据库中数据保留的天数,单位为天,默认值:3650。
minRows: 文件块中记录的最小条数,单位为条,默认值:100。
maxRows: 文件块中记录的最大条数,单位为条,默认值:4096。
comp: 文件压缩标志位,0:关闭,1:一阶段压缩,2:两阶段压缩。默认值:2。
walLevel:WAL级别。1:写wal, 但不执行fsync; 2:写wal, 而且执行fsync。默认值:1。
fsync:当wal设置为2时,执行fsync的周期。设置为0,表示每次写入,立即执行fsync。单位为毫秒,默认值:3000。
cache: 内存块的大小,单位为兆字节(MB),默认值:16。
blocks: 每个VNODE(TSDB)中有多少cache大小的内存块。因此一个VNODE的用的内存大小粗略为(cache * blocks)。单位为块,默认值:4。
replica:副本个数,取值范围:1-3。单位为个,默认值:1
precision:时间戳精度标识,ms表示毫秒,us表示微秒。默认值:ms

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,258评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,335评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,225评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,126评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,140评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,098评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,018评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,857评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,298评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,518评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,400评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,993评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,638评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,661评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容

  • 1-------- 走进前端 2-------- jQuery 3-------- CSS 4-------- A...
    依依玖玥阅读 2,323评论 0 34
  • 活在未来比活在当下会得到更多财富。看到这句话,我必须的就得说我们家,在我特别小的时候,我妈让我爸买房,我爸不买,后...
    可爱的三姑阅读 183评论 0 0
  • 藏医的神奇之处源于它的地域、人文环境、药材、炮制方法、制作工艺及藏民的信仰。 青藏高原平均海拔3800米,那里是高...
    lnsyks6306阅读 1,481评论 1 1
  • 这是自己看到的养生知识,女人一定要学会爱自己,仅以此献给所有的女同胞 一年四季适合女性喝的茶 1、春季适合饮...
    曼萝白薇阅读 174评论 0 3
  • 在这个物质经济发达的社会,相信很多人都在寻找信仰,追求精神的富足,那么信仰,成长和宗教有什么关系呢?《少有人走的路...
    悠然Freya阅读 1,387评论 2 4