linux管道pipe详解

管道

管道的概念：

管道是一种最基本的IPC机制，作用于有血缘关系的进程之间，完成数据传递。调用pipe系统函数即可创建一个管道。有如下特质：

1. 其本质是一个伪文件(实为内核缓冲区)

2. 由两个文件描述符引用，一个表示读端，一个表示写端。

3. 规定数据从管道的写端流入管道，从读端流出。

管道的原理: 管道实为内核使用环形队列机制，借助内核缓冲区(4k)实现。

管道的局限性：

① 数据自己读不能自己写。

② 数据一旦被读走，便不在管道中存在，不可反复读取。

③ 由于管道采用半双工通信方式。因此，数据只能在一个方向上流动。

④ 只能在有公共祖先的进程间使用管道。

常见的通信方式有，单工通信、半双工通信、全双工通信。

pipe函数

创建管道

int pipe(int pipefd[2]); 成功：0；失败：-1，设置errno

函数调用成功返回r/w两个文件描述符。无需open，但需手动close。规定：fd[0] → r； fd[1] → w，就像0对应标准输入，1对应标准输出一样。向管道文件读写数据其实是在读写内核缓冲区。

管道创建成功以后，创建该管道的进程（父进程）同时掌握着管道的读端和写端。如何实现父子进程间通信呢？通常可以采用如下步骤：

1. 父进程调用pipe函数创建管道，得到两个文件描述符fd[0]、fd[1]指向管道的读端和写端。

2. 父进程调用fork创建子进程，那么子进程也有两个文件描述符指向同一管道。

3. 父进程关闭管道读端，子进程关闭管道写端。父进程可以向管道中写入数据，子进程将管道中的数据读出。由于管道是利用环形队列实现的，数据从写端流入管道，从读端流出，这样就实现了进程间通信。

练习：父子进程使用管道通信，父写入字符串，子进程读出并，打印到屏幕。 【pipe.c】

思考：为甚么，程序中没有使用sleep函数，但依然能保证子进程运行时一定会读到数据呢？

1. #include <unistd.h>
2. #include <string.h>
3. #include <stdlib.h>
4. #include <stdio.h>
5. #include <sys/wait.h>
6. void sys_err(const char *str)
7. {
8. perror(str);
9. exit(1);
10. }
11. int main(void)
12. {
13. pid_t pid;
14. char buf[1024];
15. int fd[2];
16. char *p = "test for pipe\n";
17. if (pipe(fd) == -1)
18. sys_err("pipe");
19. pid = fork();
20. if (pid < 0) {
21. sys_err("fork err");
22. } else if (pid == 0) {
23. close(fd[1]);
24. int len = read(fd[0], buf, sizeof(buf));
25. write(STDOUT_FILENO, buf, len);
26. close(fd[0]);
27. } else {
28. close(fd[0]);
29. write(fd[1], p, strlen(p));
30. wait(NULL);
31. close(fd[1]);
32. }
33. return 0;
34. }

管道的读写行为

    使用管道需要注意以下4种特殊情况（假设都是阻塞I/O操作，没有设置O_NONBLOCK标志）：

1. 如果所有指向管道写端的文件描述符都关闭了（管道写端引用计数为0），而仍然有进程从管道的读端读数据，那么管道中剩余的数据都被读取后，再次read会返回0，就像读到文件末尾一样。

2. 如果有指向管道写端的文件描述符没关闭（管道写端引用计数大于0），而持有管道写端的进程也没有向管道中写数据，这时有进程从管道读端读数据，那么管道中剩余的数据都被读取后，再次read会阻塞，直到管道中有数据可读了才读取数据并返回。

3. 如果所有指向管道读端的文件描述符都关闭了（管道读端引用计数为0），这时有进程向管道的写端write，那么该进程会收到信号SIGPIPE，通常会导致进程异常终止。当然也可以对SIGPIPE信号实施捕捉，不终止进程。具体方法信号章节详细介绍。

4. 如果有指向管道读端的文件描述符没关闭（管道读端引用计数大于0），而持有管道读端的进程也没有从管道中读数据，这时有进程向管道写端写数据，那么在管道被写满时再次write会阻塞，直到管道中有空位置了才写入数据并返回。

总结：

① 读管道： 1. 管道中有数据，read返回实际读到的字节数。

2. 管道中无数据：

(1) 管道写端被全部关闭，read返回0 (好像读到文件结尾)

  (2) 写端没有全部被关闭，read阻塞等待(不久的将来可能有数据递达，此时会让出cpu)

    ② 写管道： 1. 管道读端全部被关闭， 进程异常终止(也可使用捕捉SIGPIPE信号，使进程不终止)

2. 管道读端没有全部关闭：

(1) 管道已满，write阻塞。

(2) 管道未满，write将数据写入，并返回实际写入的字节数。

    练习：使用管道实现父子进程间通信，完成：ls | wc –l。假定父进程实现ls，子进程实现wc。

ls命令正常会将结果集写出到stdout，但现在会写入管道的写端；wc –l 正常应该从stdin读取数据，但此时会从管道的读端读。      【pipe1.c】

1. #include <stdio.h>
2. #include <unistd.h>
3. #include <sys/wait.h>
4. int main(void)
5. {
6. pid_t pid;
7. int fd[2];
8. pipe(fd);
9. pid = fork();
10. if (pid == 0) { //child
11. close(fd[1]); //子进程从管道中读数据，关闭写端
12. dup2(fd[0], STDIN_FILENO); //让wc从管道中读取数据
13. execlp("wc", "wc", "-l", NULL); //wc命令默认从标准读入取数据
14. } else {
15. close(fd[0]); //父进程向管道中写数据，关闭读端
16. dup2(fd[1], STDOUT_FILENO); //将ls的结果写入管道中
17. execlp("ls", "ls", NULL); //ls输出结果默认对应屏幕
18. }
19. return 0;
20. }
21. /*
22. * 程序不时的会出现先打印$提示符，再出程序运行结果的现象。
23. * 这是因为：父进程执行ls命令，将输出结果给通过管道传递给
24. * 子进程去执行wc命令，这时父进程若先于子进程打印wc运行结果
25. * 之前被shell使用wait函数成功回收，shell就会先于子进程打印
26. * wc运行结果之前打印$提示符。
27. * 解决方法：让子进程执行ls,父进程执行wc命令。或者在兄弟进程间完成。
28. */

程序执行，发现程序执行结束，shell还在阻塞等待用户输入。这是因为，shell → fork → ./pipe1， 程序pipe1的子进程将stdin重定向给管道，父进程执行的ls会将结果集通过管道写给子进程。若父进程在子进程打印wc的结果到屏幕之前被shell调用wait回收，shell就会先输出$提示符。

    练习：使用管道实现兄弟进程间通信。 兄：ls  弟： wc -l  父：等待回收子进程。

要求，使用“循环创建N个子进程”模型创建兄弟进程，使用循环因子i标示。注意管道读写行为。 【pipe2.c】

1. #include <stdio.h>
2. #include <unistd.h>
3. #include <sys/wait.h>
4. int main(void)
5. {
6. pid_t pid;
7. int fd[2], i;
8. pipe(fd);
9. for (i = 0; i < 2; i++) {
10. if((pid = fork()) == 0) {
11. break;
12. }
13. }
14. if (i == 0) { //兄
15. close(fd[0]); //写,关闭读端
16. dup2(fd[1], STDOUT_FILENO);
17. execlp("ls", "ls", NULL);
18. } else if (i == 1) { //弟
19. close(fd[1]); //读，关闭写端
20. dup2(fd[0], STDIN_FILENO);
21. execlp("wc", "wc", "-l", NULL);
22. } else {
23. close(fd[0]);
24. close(fd[1]);
25. for(i = 0; i < 2; i++) //两个儿子wait两次
26. wait(NULL);
27. }
28. return 0;
29. }

    测试：是否允许，一个pipe有一个写端，多个读端呢？是否允许有一个读端多个写端呢？ 【pipe3.c】

1. #include <stdio.h>
2. #include <unistd.h>
3. #include <sys/wait.h>
4. #include <string.h>
5. #include <stdlib.h>
6. int main(void)
7. {
8. pid_t pid;
9. int fd[2], i, n;
10. char buf[1024];
11. int ret = pipe(fd);
12. if(ret == -1){
13. perror("pipe error");
14. exit(1);
15. }
16. for(i = 0; i < 2; i++){
17. if((pid = fork()) == 0)
18. break;
19. else if(pid == -1){
20. perror("pipe error");
21. exit(1);
22. }
23. }
24. if (i == 0) {
25. close(fd[0]);
26. write(fd[1], "1.hello\n", strlen("1.hello\n"));
27. } else if(i == 1) {
28. close(fd[0]);
29. write(fd[1], "2.world\n", strlen("2.world\n"));
30. } else {
31. close(fd[1]); //父进程关闭写端,留读端读取数据
32. // sleep(1);
33. n = read(fd[0], buf, 1024); //从管道中读数据
34. write(STDOUT_FILENO, buf, n);
35. for(i = 0; i < 2; i++) //两个儿子wait两次
36. wait(NULL);
37. }
38. return 0;
39. }

最近整理出了有关大数据，微服务，分布式，Java，Python，Web前端，产品运营，交互等1.7G的学习资料，有视频教程，源码，课件，软件工具，面试题等等，这里将珍藏多年的资源免费分享给各位小伙伴们。