2012年六月

关于pthread_cond_wait使用while循环判断的理解

六 28th

由admin发表在[...] | 1,299 浏览

没有评论

在Stevens的《Unix 环境高级编程》中第11章线程关于pthread_cond_wait的介绍中有一个生产者-消费者的例子P311，
在进入pthread_cond_wait前使用while进行条件判断，而没有直接使用if,耐人费解！

代码如下：

#include <pthread.h>
struct msg {
  struct msg *m_next;
  /* value...*/
};

struct msg* workq;
pthread_cond_t qready = PTHREAD_COND_INITIALIZER;
pthread_mutex_t qlock = PTHREAD_MUTEX_INITIALIZER;

void
process_msg() {
  struct msg* mp;
  for (;;) {
    pthread_mutex_lock(&qlock);
	while (workq == NULL) {
	  pthread_cond_wait(&qread, &qlock);
	}
	mq = workq;
	workq = mp->m_next;
	pthread_mutex_unlock(&qlock);
	/* now process the message mp */
  }
}

void
enqueue_msg(struct msg* mp) {
	pthread_mutex_lock(&qlock);
	mp->m_next = workq;
	workq = mp;
	pthread_mutex_unlock(&qlock);
	/** 此时另外一个线程在signal之前，执行了process_msg,刚好把mp元素拿走*/
	pthread_cond_signal(&qready);
	/** 此时执行signal, 在pthread_cond_wait等待的线程被唤醒，
	    但是mp元素已经被另外一个线程拿走，所以，workq还是NULL ,因此需要继续等待*/
}

这里process_msg相当于消费者，enqueue_msg相当于生产者，struct msg* workq作为缓冲队列

解释如下

在process_msg中使用while(workq==NULL)循环判断条件，这里主要是因为在enqueue_msg中unlock之后才唤醒等待
的线程，会出现上述注释出现的情况,造成workq==NULL，因此需要继续等待。

但是如果将pthread_cond_signal移到pthread_mutex_unlock()之前执行，则会避免这种竞争，在unlock
之后，会首先唤醒pthread_cond_wait的线程，进而workq!=NULL总是成立。

因此建议使用while循环进行验证，以便能够容忍这种竞争。



shell下同时读取多个文件的方法

六 16th

由admin发表在[...] | 1,154 浏览

没有评论

1. 单个文件的读取

在shell脚本下，可以多种方式实现按行读取文件，如下：

for line in `cat ${input_filename}`
do
  echo $line
done
while read line
do
  echo $line
done < ${input_filename}

其中第二种方式是将文件重定向到标准输入中

2. 多个文件读取方法

那如何实现同时多个文件的读呢？
我们可以继续利用bash中的文件重定向功能，将文件重定向到特定的文件描述符中，语法如下：

n<file
n>file
n>>file
n<>file

这里的n代表打开文件file的文件描述符，类似其他编程语言中的fd，如果没有指定n，则其默认行为如下：

<file   #same as 0<file
>file  #same as 1>file
<>file   #same as 0<>file

我们可以通过exec命令来打开所要重定向的文件：

exec 7<file1
exec 8<file2

然后我们可以通过read命令来读取对应文件的内容：

read data <&7 #使用符合是为了区分7是文件描述符，而不是文件名
read data <&8
关闭文件
exec 7</dev/null
exec 8</dev/null

多文件读取示例代码如下：

readfiles() {
	local FD1=7
	local FD2=8
	local file1=$1
	local file2=$2
	local count1=0
	local count2=0
	local eof1=0
	local eof2=0
	local data1
	local data2
 
	# Open files.
	exec 7<$file1
	exec 8<$file2
	while [[ $eof1 -eq 0  ||  $eof2 -eq 0 ]]
	do
		if read data1<&$FD1; then
			let count1++
			printf "%s, line %d: %s\n" $file1 $count1 "$data1"
		else
			eof1=1
		fi
		if read data2 <&$FD2; then
			let count2++
			printf "%s, line %d: %s\n" $file2 $count2 "$data2"
		else
			eof2=1
		fi
	done
}
#read file1 and file2
readfiles file1 file2

参考资料：http://www.linuxjournal.com/content/reading-multiple-files-bash