文件写操作的线程/进程安全性

文件写操作的线程/进程安全性

需求:

如果有多个线程/进程同时写一个文件,会不会出现写乱的情况,例如:

  • 一个按行写 :111111111111
  • 另一个按行写 : 222222222222

最后输出会不会出现1和2混杂在同一行的情况,像111111222211这种情况。

结论是:

  • 如果使用系统调用write写,那么不会出现内容写乱的情况。
  • 如果使用libc库函数fwrite写,则会出现内容写乱的情况。

原因是,系统调用write能够保证操作的原子性,一个写操作只有完成才能返回,下一个写操作才能进入。而libc库函数fwrite不是一个系统调用,无法保证操作的原始性;事实上fwrite还有缓存的功能,能够让多个fwrite的操作缓存成一个write操作,测试我们会发现fwrite的性能要比write高很多,当然代价是fwrite无法保证写的原子性,会导致数据杂乱了。

使用write的例子:

#include <stdio.h>
#include <string.h>
#include <errno.h>
#include <fcntl.h>

int main(int argc, char * argv[])
{
    char * filename = "datafile";

    int fd = open(filename, O_CREAT|O_WRONLY|O_APPEND, 0666);
    if(fd == -1) {
        printf("Failed to open file:%s, errno:%d,%s\n", filename, errno, strerror(errno));
        return -1;
    }

    // Suppose argv[1] buffer size >= 12
    argv[1][10]='\n';
    argv[1][11]='\0';
    int i = 0;
    for (; i < 10000000; i++) {
        write(fd, argv[1], strlen(argv[1]));
    }

    close(fd);
    return 0;
}

编译运行,在两个窗口同时起两个命令:

$ time ./a.out 11111111111111

real    1m20.910s
user    0m0.576s
sys     0m13.176s

在另一终端:

$ time ./a.out 222222222222

real    1m20.356s
user    0m0.590s
sys     0m13.061s

检查输出文件:

$ sed -n '/^1.*$/p' datafile | grep 2
$ sed -n '/^2.*$/p' datafile | grep 1

因为我们都是按行输出的,内容都是111111111111和2222222222,上面的规则表达式检查所有以1开头的行是否包含字符2,以及所有以2开头的行是否包含1。
可见都没有,即每一行要么都是1要么都是2。

使用fwrite的例子

#include <stdio.h>
#include <string.h>
#include <errno.h>

int main(int argc, char * argv[])
{
    char * filename = "datafile";

    FILE * fp = fopen(filename , "a");
    if(fp == NULL) {
        printf("Failed to open file:%s, errno:%d,%s\n", filename, errno, strerror(errno));
        return -1;
    }

    // Suppose argv[1] buffer size >= 12
    argv[1][10]='\n';
    argv[1][11]='\0';
    int i = 0;
    for (; i < 10000000; i++) {
        fwrite(argv[1], 1 , strlen(argv[1]) , fp);
    }

    fclose(fp);
    return 0;
}

编译运行:

$ time ./a.out 111111111111
real    0m1.522s
user    0m0.268s
sys     0m0.108s

同时在另一个终端启动:

$ time ./a.out 222222222222
real    0m1.388s
user    0m0.271s
sys     0m0.101s

查看结果:

$ sed -n '/^1.*$/p' datafile | grep 2
111122
1111111122222
12
1111122222222
1111111112222
1111112222222
1111111111222
1112222222222
1111111222222
1111222222222
1111111122222
12
1111111112222
1111112222222
...

可以看到很多杂乱的行,一行里面既有1,又有2说明fwrite并不是原子的行为。

另外还可以观察到两者的性能差异,同样写入10000000条数据。

  1. write耗时1分20秒
  2. fwrite耗时1.5秒

这个差距可不是一般的小。

总结:

事实上很多的log机制都是直接使用APPEND模式+write来实现写日志行为,而不需要外部行为来保证日志的同步,操作系统本身的write系统调用就能保证不同的logger写入log文件的原子性。

APPEND保证文件每次都是从文件的结果处写入;如果不指定APPEND,只要不移动文件指针也能达到同步的目的,因为lseek和write一样都是系统调用保证操作原子性,但是lseek和write之间的行为不是原子性的,不同的写入者可能会移动读写指针,导致数据写乱。

而如果指定了APPEND模式,那么就保证无法使用lseek来移动读写指正,每回都是写入文件末尾。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 31,916评论 2 89
  • 文件操作 (Linux文件操作)) [文件|目录] Linux文件操作:为了对文件和目录进程处理,你需要用到系统...
    JamesPeng阅读 1,462评论 1 5
  • [转]C/C++ 文件读写操作总结 在编程的过程中,文件的操作是一个经常用到的问题,在C++Builder中,可以...
    天之道天知道阅读 5,196评论 0 7
  • 一、基础知识:1、JVM、JRE和JDK的区别:JVM(Java Virtual Machine):java虚拟机...
    杀小贼阅读 2,373评论 0 4
  • 在确定性与不确定性之间,我更倾向什么?在浓墨重彩与写意留白之间,我更偏爱什么? 五年前的我,几乎一...
    nyofarya阅读 419评论 0 3