关于 IO 和 NIO 的思考

I/O 的实际操作由内核执行,其中一个重要手段是缓冲区。简单来说 I/O 可分为两类:面向磁盘和面向网络,Java 也是针对这两者来抽象设计 API,相关的类主要在 java.iojava.nio 包中,简称为 BIO 和 NIO。

为什么设计 NIO

一个直接原因就是为了更好的利用操作系统特性,改善和扩展原有 API。与 NIO 相关的规范有两个:

  • JSR 51:它是 NIO 的第一个规范,关注缓冲区、通道和字符集的设计,引入一个简单的面向缓冲区的 I/O 模型,并且提供一套非阻塞、I/O 多路复用、可扩展的 API;
  • JSR 203(NIO.2):它在前者的基础上,添加新的文件系统的抽象,完善现有 Socket 通道的配置,添加多播数据报的支持,并且定义了一个异步 I/O 编程 API。

那么,传统的 BIO 又有什么弊端?NIO 又是如何改进的?

文件操作

关于 java.io.file,它的不足之处在于:

  • 当查询文件属性时,如修改时间或文件类型,都会发生系统调用,并且这些组合操作非常常见,造成性能问题;
  • 部分方法在发生错误时返回 false 而不是抛出异常,比如 delete、rename;
  • 一些 OS 常用功能不支持,比如符号链接、文件锁定、内存映射等。

而 NIO 支持批量获取文件属性,对文件、目录的处理也重新设计,提供 FileLock、MappedByteBuffer。

网络通信

传统 BIO 是阻塞式、基于流的I/O,其网络服务器模型是一连接一线程,通常采用线程池优化,但一个进程或者计算机打开的线程数是有限的,可扩展性差。

NIO 是基于缓冲区(也是由字节流或字符流组成)的,对原始 I/O 提供了新的抽象 - Channel(通道)。Channel 表示一个到硬件设备、文件或网络套接字的连接,与 java.net.Socket 的区别是:

  • 可配置非阻塞,允许事件驱动的设计,提供了一种更加可扩展的服务器开发;
  • 面向字节缓冲区,可实现 零拷贝 执行 I/O ,一端得是 FileChannel。

NIO 主要目标是设计、开发可扩展/可伸缩性服务器,让少量的线程管理大量的客户端连接,而灵活的代价是编程复杂,一复杂就会有人抽象出框架,NIO 常用的框架是 Netty,这里想到一个问题,Netty 宣称的零拷贝与OS级别的有区别吗?

服务器常用的优化手段是对象池、减少数据复制(内核到用户进程或用户进程内部)、减少上下文切换和锁,ByteBuffer 本质就是提供了一个可复用的 byte[] 数组,而 BIO 做好这些优化也不见得比 NIO 慢,那么如何选择I/O模型?

I/O 模型的选择

首先了解一下 C10k problem - 描述单机处理1万个并发连接的问题,两个不同的概念:

  • 并发连接(concurrent connections):在有限的时间内响应请求,关注高效的连接调度;
  • 每秒请求数(requests per second):快速处理请求以响应,关注高吞吐量。

C10k 问题的本质在于 CPU,即线程数,单机创建大量线程,不仅占用大量的内存,频繁的数据复制和上下文切换还会导致 OS 崩溃。

如果采用 BIO 一个直观的解决办法是水平扩展,采用分布式系统,但如果并发量上升到百万、千万、甚至上亿,那么服务器的成本得多大?解决此问题的关键是减少线程数,提高单机的处理能力,而如何使用少量的线程管理大量的连接,则在操作系统层面解决了,也就是 Linux 下的 Epoll,Java 中的 NIO。如果你的应用面临 C10k 问题,NIO 是最好的选择。

那 BIO 有什么用呢?大家都用线程池,你有 ByteBuffer,我也可以自己维护字节缓冲,照样成块读取,阻塞无非因为 I/O 延迟高,那换成 SSD和光纤,而且我编程简单,唯一的缺点就是扩展性差了点。:)

至于如何选择 I/O 模型,需要结合业务场景,综合考虑:

  • 短连接还是长连接
  • 预计最大的并发数
  • 预计每个连接的数据量,即流量的大小

但感觉还是很难给出明确的答案,简单来说,并发量低的可采用 BIO,高的可采用 NIO,至于 AIO 它应该不太成熟,不过多描述了。

小结

写的可能有点乱,等以后有更多的体会,再优化吧。欢迎讨论。

本文由 wskwbog 创作,采用 知识共享4.0 许可证 - 署名-非商业性使用-禁止演绎
本站文章除注明转载/出处外,均为本站原创或翻译

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351

推荐阅读更多精彩内容

  • 转自 http://www.ibm.com/developerworks/cn/education/java/j-...
    抓兔子的猫阅读 2,298评论 0 22
  • 在一个方法内部定义的变量都存储在栈中,当这个函数运行结束后,其对应的栈就会被回收,此时,在其方法体中定义的变量将不...
    Y了个J阅读 4,414评论 1 14
  • git rebase git rebase 的使用意义是,将当前分支上发生的事情,以指定的分支为参考基础,重现一遍...
    mo阿蒙阅读 593评论 0 0
  • 作者简介 里德•霍夫曼(Reid Hoffman):全球最大的职业社交网站LinkedIn领英的创始人之一和执行总...
    苏巍巍阅读 967评论 0 1
  • 我想 我还没老 腿还跑得起来 心里的野马还向往着远方 我想 我还没痴呆 还能胡思乱想 美丽的姑娘还能收到诗歌 图片...
    松一木阅读 230评论 0 1