IQueryable 和 IEnumerable 的区别

来源:https://blog.guoqianfan.com/2019/11/17/distinguish-between-IQueryable-and-IEnumerable-in-CSharp/

前言

不管是Linq to object,还是Linq to sqlLinq to EntityIQueryableIEnumerable都是延迟执行的,它们之间的区别仅仅在于扩展方法的参数类型不同。(迭代/枚举方式不同?作用对象不同?)

IQueryable 和 IEnumerable 的区别

  • IQueryable:扩展方法接受的是Expression

    对于Linq to sqlLinq to EntityExpression必须要能转成sql,否则会报错。

  • IEnumerable:扩展方法接受的是Func(Func是C#语法)。

    IEnumerable跑的是Linq to Object,会强制从数据库中读取所有数据到内存里,所以可以使用C#语法。

    对于Linq to sqlLinq to EntityFunc是无限制的,因为它是使用C#语法操作数据的。这也从侧面说明:数据已经读取到内存中了。

    IEnumerable的扩展方法是Func,不会转换为sql。转换为sql的是内部的IQueryable。所以要注意条件最好限制在IQueryable里,否则IQueryable可能会读取大量数据,增加耗时和内存。

AsEnumerable() 和 ToList() 的区别

  • ToList()立即执行。会立即执行sql,取出数据到内存中。

  • AsEnumerable()延迟执行,真正使用时才执行sql读取数据。此处有坑,一定要往下看

IQueryable对象使用AsEnumerable()后,仍然是延迟执行,不过此时对象本质已经变了

前面已经说了 IEnumerable的扩展方法接受的是Func(C#语法),当ie对象(iq转变) 真正使用时,会有2个步骤:

  1. 它会把iq对象(转变之前的) 的扩展方法翻译成sql语句,查询出数据加载到内存中,变为ie对象;
  2. 此时再把ie对象(转变之后的) 的扩展方法,使用C#求解,得到最终结果。

例如:

iq对象的Skip、Take方法,会被翻译成sql,在数据库里执行取出最终结果。

而ie对象的Skip、Take方法,则会取出全部数据到内存中,在内存中执行Skip、Take,会耗费大量资源。

使用场景

  • IQueryable使用EFCore动态拼接多个where条件时使用。(延迟查询,每次真正使用时都会重新读取数据。)

  • IEnumerable:当扩展方法无法转换为sql时,可以使用AsEnumerable()转换为IEnumerable。因为IEnumerable的扩展方法都是使用C#语法处理数据的。(延迟查询,每次真正使用时都会重新读取数据。)

  • ToList():当 where条件已经确定了,就可以使用ToList()从数据库中立即取出数据,后面重复使用这些数据就行。

不过为了省事,我一般都是使用IQueryable拼接好条件后,直接ToList()来使用了。。。

备注

异常:System.InvalidOperationException: 无法枚举查询结果多次

异常出现条件

Linq to sqlEF(非EFCore)中,直接执行sql语句来查询数据后,对数据集(IEnumerable)进行多次枚举操作就会引发这个异常。

经测试,多次Count()会引发此异常。其他的Sum()foreach等等应该也是,有待验证。。。

我的理解是:数据集(IEnumerable)是使用枚举器来处理每项数据的,而枚举器只能走一次。 搞不懂枚举器和迭代器了,需要研究下。。。

注意,EFCore中不会出现这个异常,原因请搜索efcore执行sql

解决方法

  • 方法1:把查询结果ToList(),后续使用List来操作数据。
  • 方法2【推荐】: 抛弃内置的,使用Dapper,因为Dapper的查询结果本质是List。(多结果集不是,更多信息搜索Dapper。)

异常重现代码

下面的代码是Linq to sql的,网上说EF也会出现该异常,代码应该类似。

另外网上搜索该异常大部分都是执行存储过程时出现的,其实也是直接执行sql来查询数据,本质一样。

string sql = @"
select top 100 *
from [dbo].[BaseSupplier_OTAOnline]";

//return db.ExecuteQuery<T>(sql, parameters);
IEnumerable<BaseSupplier_OTAOnline> ieBs02 = bdb.QueryBySql<BaseSupplier_OTAOnline>(sql);//"exec Pro_BaseSpOtaOnline_Test01"

int count = ieBs02.Count();

ieBs02 = ieBs02.Skip(1).Take(2);

//****此处会引发异常****
int count02 = ieBs02.Count();

误区:对 iq对象 和 ie对象 使用foreach时,对于循环的每项都要查询数据库

错误!

foreach针对的是数据集整体对象(迭代器?)。当使用foreach时,不管是iq对象还是ie对象,它们都是查询数据库一次,然后开始循环,直至循环结束。不过,当后续再次使用iq对象或ie对象的具体数据时,它们仍然会再次查询数据库。

注意:iq对象的结果是数据集。它只能把当前存储的表达式树转换为sql。它无法对其进行处理来做到一次一条的取出数据,因为根本就不可能!怎么能无中生有呢?

反向验证

也可以这样想:如果是一条一条取数据的话,程序怎么知道每次应该取哪条数据?

  • 使用DataReader

    不行,效率太低下。因为取出每条数据后,还需要对数据进行一系列的操作(代码逻辑),这需要耗费时间。而DataReader是需要在线保持数据库连接的,耗时太长会导致同一时间有很多数据库连接,很快就会达到数据库连接池上限。这种方法很不可取。

  • 对生成的sql进行top 1处理?

    那要怎么知道每次取出哪条数据呢?使用上一条数据的信息作为where条件?不行,这么做太傻逼,网络数据传输增加;查询效率也低下;占用数据库连接池资源。种种缺点,简单问题复杂化。

由上面的反例可以看出,一条一条查数据可以实现,但是太二逼。完全不如一次性全部读取数据的好。

其他

IQueryable和IEnumerable生成sql的测试代码

先说下结论:

  • 只会把IQueryable的条件(Expression)翻译成sql,IEnumerable的条件(Func)不会被翻译成sql。代码中生成的sql可以验证。
  • 二者都是延迟执行的,真正使用过的时候才会查询数据库。

NetFramework

测试环境:

  • .NET Framework 4.5
  • LINQ to SQL类(不是EntityFramework)
            BaseSpDB bdb = new BaseSpDB();
            //不查询数据库
            IQueryable<BaseSupplier_OTAOnline> iqBs = bdb.baseSpByAll().Where(p => p.ID < 10);
            //不查询数据库
            IEnumerable<BaseSupplier_OTAOnline> ieBs = iqBs.AsEnumerable();
            //不查询数据库
            ieBs = ieBs.Where(p => p.ID > 5);

            //执行sql
            //只执行iq的条件
            //查询数据库
//exec sp_executesql N'SELECT [t0].[ID], [t0].[OTAName], [t0].[OnlineSupplier], [t0].[PushUrl], [t0].[Note], [t0].[EditCode], [t0].[AddUser], [t0].[PushDate], [t0].[GetDate], [t0].[EditDate], [t0].[AddDate]
//FROM [dbo].[BaseSupplier_OTAOnline] AS [t0]
//WHERE [t0].[ID] < @p0',N'@p0 int',@p0=10
            List<BaseSupplier_OTAOnline> bsList = ieBs.ToList();

            //再次查询数据库
//exec sp_executesql N'SELECT [t0].[ID], [t0].[OTAName], [t0].[OnlineSupplier], [t0].[PushUrl], [t0].[Note], [t0].[EditCode], [t0].[AddUser], [t0].[PushDate], [t0].[GetDate], [t0].[EditDate], [t0].[AddDate]
//FROM [dbo].[BaseSupplier_OTAOnline] AS [t0]
//WHERE [t0].[ID] < @p0',N'@p0 int',@p0=10
            foreach (var item in ieBs)
            {
                
            }

NetCore

测试环境:

  • AspNetCore 2.1
  • EFCore
            //不查询数据库
            IQueryable<BaseSupplier_OTAOnline> iqOta = ctx.BaseSupplier_OTAOnline.Where(p => p.ID < 10);

            //不查询数据库
            IEnumerable<BaseSupplier_OTAOnline> ieOta = iqOta.AsEnumerable();

            //不查询数据库
            ieOta = ieOta.Where(p => p.ID > 5);

            //执行sql
            //只执行iq的条件
            //查询数据库
//SELECT [p].[ID], [p].[AddDate], [p].[AddUser], [p].[EditCode], [p].[EditDate], [p].[GetDate], [p].[Note], [p].[OTAName], [p].[OnlineSupplier], [p].[PushDate], [p].[PushUrl]
//FROM [BaseSupplier_OTAOnline] AS [p]
//WHERE [p].[ID] < 10
            List<BaseSupplier_OTAOnline> bsList = ieOta.ToList();

            //再次查询数据库
//SELECT [p].[ID], [p].[AddDate], [p].[AddUser], [p].[EditCode], [p].[EditDate], [p].[GetDate], [p].[Note], [p].[OTAName], [p].[OnlineSupplier], [p].[PushDate], [p].[PushUrl]
//FROM [BaseSupplier_OTAOnline] AS [p]
//WHERE [p].[ID] < 10
            foreach (var item in ieOta)
            {

            }

参考

  1. LINQ查询中的IEnumerable<T>和IQueryable<T>
  2. LINQ使用细节之.AsEnumerable()和.ToList()的区别
  3. 建议29:区别LINQ查询中的IEnumerabl<T>和IQueryable<T> - 陆敏技《编写高质量代码改善C#程序的157个建议》
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,258评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,335评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,225评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,126评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,140评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,098评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,018评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,857评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,298评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,518评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,400评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,993评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,638评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,661评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容