[shell]-(一)关于多线程的管道与描述符的运用

shell虽然执行效率差,但优点,是所用即所得,不用移植,基本上所有linux都通用,基本不用额外安装程序。s

当然运用的好的话,效率也不会太差。比如,尽可能的减少读写文件,减少无名管道“|”的使用,大量的循环尽可能用awk里完成,还有多线程的使用。

多线程,就是让shell同时执行多行命令。

shell里并不能同时接收多条命令,也就是,必须逐行逐条执行,想要实现执行多行,可以把前一条命令置入后台,后面的命令就可以不必等待前一条的完毕,而是立即执行。

# 后台执行在命令行结尾加”空格&“

# while true;do sleep 5s;done &

```

# while true;do sleep 5s;done

^C

# while true;do sleep 5s;done &

#

```

这样就可以很开心的多行执行命令了:# cat proc.sh

```

#!/bin/bash

for i in $(seq 5);do

        echo "While A 01 : $i" >>proc_test.txt

        echo "While A 02 : $i" >>proc_test.txt

        echo "While A 03 : $i" >>proc_test.txt

        sleep 1s

done &

for j in $(seq 5);do

        echo " While B 01 : $j" >>proc_test.txt

        echo " While B 02 : $j" >>proc_test.txt

        echo " While B 03 : $j" >>proc_test.txt

        sleep 0.5s

done &

wait

```

预想的是向文件proc_test.txt每次输入三行,而实际。。。。。

```

cat proc_test.txt

# sh proc.sh

# cat proc_test.txt

While A 01 : 1

While A 02 : 1

While B 02 :

While A 03 : 1

While B 03 :

While B 02 :

While B 03 :

While A 01 : 2

While A 02 : 2

While A 03 : 2

While B 02 :

While B 03 :

While B 02 :

While B 03 :

While A 01 : 3

While A 02 : 3

While A 03 : 3

While B 02 :

While B 03 :

While A 01 : 4

While A 02 : 4

While A 03 : 4

While A 01 : 5

While A 02 : 5

While A 03 : 5

#

```

不但行是乱的,列也出现了混乱。。出现这种情况,是因为在while A输出时,while B也在输出,当对同一个文件写入时,A B的内容就被混编写入了文件。

这种混乱的多线程,并不是我们想要的。

必须得让他们有顺序的输出。

管道!这时就该他发挥作用了。

管道就像名字一样,是一个运载数据流的通道,可以像水管一样控制它的开关和流速。

mkfifo用于建立管道文件。

```

# mkfifo t.fifo

# ls -l t.fifo

prw-r--r-- 1 root root 0 Nov 13 15:44 t.fifo

#

```

建立个名为 t.fifo的管道文件

管道可以像普通文件一样的读写操作,但是有容量限制,一般是1024字节

向管道写入时,必须同时读取,否则,写入端处于停滞状态。反之也是,

从管道读取时,如果管道内没有数据,读取端也会处于停滞状态。

这里就是关键。看到”停滞“了吗,如果当while A写入文件时,让其它while写入这个文件的命令行处于停滞,那么A写入的内容就不会被B打乱了。

这样基本的概念就实现了。

因为管道文件读写必须同步,所以这里用到描述符

exec 描述符<>管道

<表示读操作,>表示写操作

echo >&100 ,向100里输入一行,代表一个执行令牌

read <&100 ,从100里读取一个令牌,也可用read -u100,如果没有则停滞,等待新的令牌输入

echo >&100 ,while里这条,三行一组输出完成时,回交令牌。

{}把多行命令分成一组

注:描述符只在当前shell里,或者说,当前进程及其子进程有效,

        而管道文件,是整个系统有效。所以在定义完描述符,可以 # rm t.fifo

        如果读写不同步时


每三行一组的输出基本实现了

```

#cat proc_test.txt

```

最后的小问题,当echo $i >>file.txt时,是处于后台,所以{}外的$i 不会影响{}里的$i 的值。


上面已基本完成一个多线程的规范输出,但如果whileAB都是无限循环,且后台部分要更耗时,那么shell下的while进程就会不断的增加,增加到无限多。最终系统承载不住,就会当机。

这并不是我们希望发生的,那么就应该限制一下,后台的最大数量。

解决方法很多,当然你也可以用记数循环+循环的套用来实现、

在这里,我们要用管道的读写特性来实现后台数量的限制。

和前面的有序输出是同一个原理,有序输出,每次只能读取一个执行令牌,也就是单车道。

那么我们为后台进程新开设个多车道,就暂定为5道并开。

```

#!/bin/bash

mkfifo t.fifo # 建立管道文件

exec 100<>t.fifo #定义描述符

# 1车道

echo >&100

mkfifo  proc.fifo proc2.fifo #定义2两管道文件

exec 101<>proc.fifo  #定义描述符

exec 102<>proc.fifo  #定义描述符

# 开通5车道

echo |tee >&101 >&102

echo |tee >&101 >&102

echo |tee >&101 >&102

echo |tee >&101 >&102

echo |tee >&101 >&102

# 这里定义个管道,用于,外部向脚本发送指令

mkfifo manager.fifo

exec 1000<manager.fifo

for i in $(seq 5);do

read <&101 #如果没有补充,最多读取5次,否则停滞等待

{

read <&100

echo "While A 01 : $i" >>proc_test.txt

        echo "While A 02 : $i" >>proc_test.txt

        echo "While A 03 : $i" >>proc_test.txt

echo >&100 # 补充1次

} &

echo >&101

sleep 1s

done &

for j in $(seq 5);do

read <&101  #如果没有补充,最多读取5次,否则停滞等待

{

read <&100

echo " While B 01 : $j" >>proc_test.txt

        echo " While B 02 : $j" >>proc_test.txt

        echo " While B 03 : $j" >>proc_test.txt

echo >&101  # 补充1次

} &

sleep 0.5s

done &

while true;do

read -u1000 manager

# 试试在脚本执行时,再开启个终端,并echo "hello shell" >manager.fifo

# 脚本会接收到这个信息,并打印出来。

echo -e "\t\t这里是从脚本外得到的输入内容 : $manager"

done

wait

```


如此这般,双后台的5线程并行就设置好了

注:echo |tee >&101 >&102 相当于

echo >&101 ;echo >&102

tee 把输出的内容分流给2个指向tee -a file是追加模式

最后附加了,从脚本外向脚本内传送信息。


第一次写东西,有点乱。

下一篇 ---->  定义管道的通用脚本

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容

  • .bat脚本基本命令语法 目录 批处理的常见命令(未列举的命令还比较多,请查阅帮助信息) 1、REM 和 :: 2...
    庆庆庆庆庆阅读 8,043评论 1 19
  • 一、Python简介和环境搭建以及pip的安装 4课时实验课主要内容 【Python简介】: Python 是一个...
    _小老虎_阅读 5,719评论 0 10
  • 个人学习批处理的初衷来源于实际工作;在某个迭代版本有个BS(安卓手游模拟器)大需求,从而在测试过程中就重复涉及到...
    Luckykailiu阅读 4,679评论 0 11
  • 为何叫做 shell ? shell prompt(PS1) 与 Carriage Return(CR) 的关系?...
    Zero___阅读 3,138评论 3 49
  • 我强迫自己睁开眼醒来,看看这个现实又虚伪的世界。 我忘记自己存活的时间,我忘记自己存活的意义,我身在何方...
    嫣骨朵阅读 371评论 0 4