.NET 5 全自动分表组件,.NET 分表方案 ,分表架构与设计

一、疑问&目的

 1.1 分表使用场景

  (1)可扩展架构设计,比如一个ERP用5年不卡,到了10就卡了因为数据太多了,这个时候很多人都是备份然后清空数据,这个工作大并且麻烦,以前的数据很难在使用

  (2) 数据量太多 ,例如每天都有 几十上百万的数据进入库,如果不分表后面查询将会非常缓慢

    (3)   性能瓶颈 ,数据库现有数据超过1个亿,很多情况下索引会莫名失效,性能大大下降,如果使用分表,我们只需要针对一个分表进行操作性能大大提升

 1.2  我的目的

说到ORM很多会想到EF Core Dapper SqlSugar Chloe  Freesql等,但是说到分表组件或许者大家想不到一个名词

我写这一篇文章最大的目的是想大家记住 全自动的分表组件 【 SqlSugar 】

没错SqlSugar是一个ORM框架,并且已经完美支持了自动分表 ,希望你能喜欢

二、SqlSugar分表优势

2.1 简单 

 CURD和分表一体化 ,小白也能很好的使用分表,只要会使用 ORM 就会使用分表 ,2者语法同步 就多 一个 .SplitTable

 2.2 功能强大

支持 表结构同步,自动建表,强大的查询语句,插入,更新,删除

 2.3 组件化设计

默认集成了按  日、周、月、季、年的方式表,  比如,我想根据加密算法分表,或者根据多个字段分表,或者不满意现在的分表 都可以已扩展实现

三、 自带分表的使用

自带分表支持按年、按月、按日、按季、按周进行分表

 3.1 定义实体

我们定义一个实体,主键不能用自增或者int ,设为long或者guid都可以,我例子就用自带的雪花ID实现分表

[SplitTable(SplitType.Year)]//按年分表 (自带分表支持 年、季、月、周、日)

[SugarTable("SplitTestTable_{year}{month}{day}")]//生成表名格式 3个变量必须要有

 publicclassSplitTestTable

 {

     [SugarColumn(IsPrimaryKey =true)]

     publiclongId { get; set; }

     publicstringName { get; set; }

     [SplitField] //分表字段  在插入的时候会根据这个字段插入哪个表,在更新删除的时候也能可方便的用这个字段找出相关表

     publicDateTime CreateTime { get; set; }

 }

 3.2 初始化和同步结构

 (1)如果一张表没有 查询肯定会报错,所以程序启动时需要建一张表

    (2)假如分了20张表,实体类发生变更,那么 20张表可以自动同步结构,与实体一致

1db.CodeFirst.SplitTables().InitTables<SplitTestTable>(); //程序启动时加这一行

 3.2 查询用法

 (1)按时间自动过滤

通过开始时间和结束时间自动生成CreateTime的过滤并且找到对应时间的表


varlis2t = db.Queryable<OrderSpliteTest>()

.SplitTable(DateTime.Now.Date.AddYears(-1), DateTime.Now)

.ToOffsetPage(1,2);

 (2)精准筛选

根据分表字段的值可以精准的定位到具体是哪一个分表

比Take(N)性能要高出很多


varname=Db.SplitHelper<SplitTestTable>().GetTableName(data.CreateTime);

Db.Queryable<SplitTestTable>().Where(it => it.Id==data.Id).SplitTable(tas => tas.InTableNames(name)).ToList();

(3)表达式过滤

1Db.Queryable<SplitTestTable>().Where(it => it.Id==data.Id).SplitTable(tas => tas.Where(y=>y.TableName.Contains("2019"))).ToList();

  (4)  联表查询


//分表使用联表查询

varlist=db.Queryable<Order>()

              .SplitTable(tabs=>tabs.Take(3))//Order表只取最近3张表和Custom JOIN

              .LeftJoin<Custom>((o,c)=>o.CustomId==c.Id).Select((o,c)=>new{ name=o.Name,cname=c.Name }).ToPageList(1,2);

 (5)  分页查询  


varcount = 0;

db.Queryable<SplitTestTable>().Where(it => it.Name.Contains("a")).SplitTable(tas => tas.Take(3)).ToPageList(1,2,refcount);//

3.3 插入

因为我们用的是Long所以采用雪ID插入(guid也可以禁止使用自增列), 实体结构看上面 3.1


vardata = newSplitTestTable()

{

      CreateTime=Convert.ToDateTime("2019-12-1"),

      Name="jack"

  };

 db.Insertable(data).SplitTable().ExecuteReturnSnowflakeId();//插入并返回雪花ID

因为我们是根据CreateTime进行的分表,生成的SQL语句如下:


INSERTINTO[SplitTestTable_20190101] --如果表不存在会自动建表

           ([Id],[Name],[CreateTime])

     VALUES

           (@Id,@Name,@CreateTime) ;

批量插入

vardatas = newList<SplitTestTable>(){newSplitTestTable(){CreateTime=Convert.ToDateTime("2019-12-1"),Name="jack"} ,

newSplitTestTable(){CreateTime=Convert.ToDateTime("2022-02-1"),Name="jack"},

newSplitTestTable(){CreateTime=Convert.ToDateTime("2020-02-1"),Name="jack"},

newSplitTestTable(){CreateTime=Convert.ToDateTime("2021-12-1"),Name="jack"}};

db.Insertable(datas).SplitTable().ExecuteReturnSnowflakeIdList();//插入返回雪花ID集合

执行完生成的表

生成的Sql:

自动识别4条记录,分别插入4个不同的表中

 3.4 删除数据

 (1)懒人模式删除

最近3张表都执行一遍删除

1db.Deleteable<SplitTestTable>().In(id).SplitTable(tas=>tas.Take(3)).ExecuteCommand();

生在的SQL如下:

DELETEFROM[SplitTestTable_20220101] WHERE[Id] IN(1454675372531515392)

DELETEFROM[SplitTestTable_20210101] WHERE[Id] IN(1454675372531515392)

DELETEFROM[SplitTestTable_20200101] WHERE[Id] IN(1454675372531515392)

  (2)精准删除   

 相对于上面的操作性能更高,可以精准找到具体表


var deldata = new SplitTestTable()

            {

                Id = id,

                CreateTime = DateTime.Now

            };

 var tableName = db.SplitHelper(deldata).GetTableNames();

 db.Deleteable<SplitTestTable>().Where(deldata).SplitTable(tas=>tas.InTableNames(tableName)).ExecuteCommand();

 生成的SQL如下:

1DELETEFROM[SplitTestTable_20210101] WHERE[Id] IN(1454676863531089920)

 3.5 更新数据

更新的用法基本上和删除一样


//更新近3张表

db.Updateable(deldata).SplitTable(tas=>tas.Take(3)).ExecuteCommand();


//精准找到表名并且更新数据

vartableName = db.SplitHelper(deldata).GetTableNames();

db.Updateable(deldata).SplitTable(tas => tas.InTableNames(tableName)).ExecuteCommand();

//通过表达式过滤出要更新的表

db.Updateable(deldata).SplitTable(tas => tas.Where(y=>y.TableName.Contains("_2019"))).ExecuteCommand();

四、 自定义分表使用 

 上面的分表功能是我们自带集成的,比如我想实现自定义的分表我该如何实现呢?

  4.1 按首字母拼音分表

  我们就写个按24个字母进行分表的小例子,来学习一下如何自定义分表

  4.2  创建分表类

我们新建一个类继承成ISplitTableService 接口 

viewcode

  4.3  使用自定义分表

代码:


//使用自定义分表

db.CurrentConnectionConfig.ConfigureExternalServices.SplitTableService =newWordSplitService();

//插入数据

db.Insertable(newWordTestTable(){CreateTime=DateTime.Now,Name="BC"}).SplitTable().ExecuteReturnSnowflakeId();

db.Insertable(newWordTestTable(){CreateTime = DateTime.Now,Name = "AC"}).SplitTable().ExecuteReturnSnowflakeId();

db.Insertable(newWordTestTable(){ CreateTime = DateTime.Now, Name = "ZBZ"}).SplitTable().ExecuteReturnSnowflakeId();

 执行完数据库就多了3张表,因为是按首字母分的表 ,插入了3条记录自动创建了3张表

插入生成的SQL:

INSERTINTO[WordTestTable_FirstB]

           ([Id],[Name],[CreateTime])

     VALUES

           (@Id,@Name,@CreateTime) ;

INSERTINTO[WordTestTable_FirstA]

           ([Id],[Name],[CreateTime])

     VALUES

           (@Id,@Name,@CreateTime) ;

INSERTINTO[WordTestTable_FirstZ]

           ([Id],[Name],[CreateTime])

     VALUES

           (@Id,@Name,@CreateTime) ;

查询指定表

1varlistall = db.Queryable<WordTestTable>().Where(it => it.Name == "all").SplitTable(tas => tas.ContainsTableNames("_FirstA")).ToList();

生成的SQL:

1SELECT* FROM(SELECT[Id],[Name],[CreateTime] FROM[WordTestTable_FirstA]  WHERE( [Name] = @Name0UnionAll1 )) unionTable

SqlSugar ORM 新语法

需要 NUGET安装 SqlSugarCore  5.0.4.3-proview-03

以前有些人说SQLSUGAR联表不优美,所以我也支了最优美联表语法:

新语法1:

简单的联表

var leftQueryable = db.Queryable<Custom>()

     .LeftJoin<OrderItem>((c, i) => c.Id == i.ItemId)

    .Select(c =>c).ToList();

SQL如下:

1SELECTc.* FROM[Custom] c LeftJOIN[OrderDetail] i ON( [c].[Id] = [i].[ItemId] )

新语法2:

表  和 Queryable 进行联表

varrigtQueryable = db.Queryable<Custom>()

    .LeftJoin<OrderItem>((o, i) => o.Id == i.ItemId)

        .Select(o => o);

varList = db.Queryable<Order>()

    .LeftJoin(rigtQueryable, (c, j) => c.CustomId == j.Id)

    .Select(c => c).ToList();

SQL如下:

1SELECTc.* FROM[Order] c LeftJOIN(SELECTo.* FROM[Custom] o LeftJOIN[OrderDetail] i ON( [o].[Id] = [i].[ItemId] )  ) j ON( [c].[CustomId] = [j].[Id] )

新语法3

 Queryable 和表 进行联表


varleftQueryable = db.Queryable<Custom>()

    .LeftJoin<OrderItem>((c, i) => c.Id == i.ItemId)

     .Select(c =>c) ;

varList = db.Queryable(leftQueryable)

    .LeftJoin<Order>((o, cu) => o.Id == cu.Id)

    .Select(o => o).ToList();

SQL如下:

1SELECTo.* FROM(SELECT* FROM(SELECTc.* FROM[Custom] c LeftJOIN[OrderDetail] i ON( [c].[Id] = [i].[ItemId] )  ) t ) o LeftJOIN[Order] cu  ON( [o].[Id] = [cu].[Id] )

总结

SqlSugar 一直在创新,并且越来越好,相信分表功能,新的语法一定会让很多人喜欢

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容