yaron's space

Latency Comparison Numbers
--------------------------
L1 cache reference                            0.5 ns
Branch mispredict                             5   ns
L2 cache reference                            7   ns             14x L1 cache
Mutex lock/unlock                            25   ns
Main memory reference                       100   ns             20x L2 cache, 200x L1 cache
Compress 1K bytes with Zippy              3,000   ns
Send 1K bytes over 1 Gbps network        10,000   ns    0.01 ms
Read 4K randomly from SSD*              150,000   ns    0.15 ms
Read 1 MB sequentially from memory      250,000   ns    0.25 ms
Round trip within same datacenter       500,000   ns    0.5  ms
Read 1 MB sequentially from SSD*      1,000,000   ns    1    ms  4X memory
Disk seek                            10,000,000   ns   10    ms  20x datacenter roundtrip
Read 1 MB sequentially from disk     20,000,000   ns   20    ms  80x memory, 20X SSD
Send packet CA->Netherlands->CA     150,000,000   ns  150    ms

Notes
-----
1 ns = 10-9 seconds
1 ms = 10-3 seconds
* Assuming ~1GB/sec SSD

Credit
------
By Jeff Dean:               http://research.google.com/people/jeff/
Originally by Peter Norvig: http://norvig.com/21-days.html#answers

Contributions
-------------
Some updates from:                      https://gist.github.com/2843375
Great 'humanized' comparison version:   https://gist.github.com/2843375
Visual comparison chart:                http://i.imgur.com/k0t1e.png
Nice animated presentation of the data: http://prezi.com/pdkvgys-r0y6/latency-numbers-for-programmers-web-development/

这里有一篇更详细，描述了各个年代相关模块的latency:

http://www.eecs.berkeley.edu/~rcs/research/interactive_latency.html

今天学习了sort, uniq, cut, paste和split命令的用法，其中sort的选项比较多一些，其它的命令就比较简单了

关于sort,本站之前写过一篇关于sort的高级用法，请点击这里

一、Sort命令

sort [OPTION]… [FILE]…

对文件按指定的域进行排序

常用选项：

1. -c: 检测文件是否已经排序
2. -m: 将两个已经排序的文件进行合并
3. -u: 在排序过程中，删除重复的行
4. -o: 保存排序后的文件
5. -t: 域分隔符，默认为空格和tab
6. -n: 指定待排序的域为数字类型
7. -r: 逆序排序，默认为正向排序
8. -b: 按域排序时忽略第一个空格
9. +n: 按照第n个域进行排序，域从第0个开始计数
10. +m.n: 按照第m个域的第n个字符开始开始排序
11. -k: 按照第k个域进行排序，域从第1个开始计数

常见的用法例子：

sort  -o output.txt  your_file.txt  #对文件按第一域进行排序，将排序结果保存到output.txt

sort -t: -r +2n your_file.txt #对文件按照第2个域进行逆向排序，第二个域为数字类型，同时分割符为:

df | sort -b -r -k5  #按照磁盘的占用率从高到底进行排序输出

二、uniq命令

uniq [OPTION]… [INPUT [OUTPUT]]

从文件中去除或删除重复的行，在功能上和sort -u类似

常用选项：

1. -u: 只显示不重复的行
2. -d: 只显示重复的行
3. -c: 打印每一行出现的次数
4. -fn: 忽略前n个域

常用的用法例子：

uniq sort_file.txt #删除文件中重复的行

uinq -c sort_file.txt  #显示每行出现的次数

uinq -d sort_file.txt  #只显示出现次数>=2的行

三、join命令

join [OPTION]… FILE1 FILE2

将两个排序的文件合并为一个文件

常用选项：

1. -j n  m: 选择连接的域，n为文件号，m为域号
2. -o n.m : 指定显示的域，n为文件号，m为域号
3. -an: 显示文件n中不匹配的文件行
4. -t: 定义分隔符

常见的用方法：

join  sort_file1.txt  sort_file2.txt  #合并两个文件，以第一个键排序

join  -j 1 1 -j 2 2  sort_file1.txt sort_file2.txt  #按第一文件的第一个域和第二个文件的第二个域作为key,进行合并

join -o 1.1 , 2.2  sort_file1.txt sort_file2.txt  #只显示第一个文件的第一个域和第二个文件的第二个域

四、cut命令

cut OPTION… [FILE]…

从文件中获取指定域

常用选项：

1. -d: 分割符
2. -f: 输出域的编号
3. -c: 输出字符的编号

常见的用法：

cut -d: f3 file.txt #输出以:分割的第三个域

cut  -d: f 1, 6 file.txt #输出以:分割的第一个和第六个域

ls -al | cut -c1-3  #显示ls输出每行的前三个字符

五、paste命令

paste [OPTION]… [FILE]…

将文件的行进行merge

常用选项：

1. -d:  指定两个文件的行合并后的分割符
2. -s: 将每个文件合并为一行，而不是按行进行合并

常见用法：

paste file1 file2 #将两个文件的每行合并

paste -d: file1 file2 #将两个文件的每行合并，分隔符为:

paste -s file1 file2 #将file1的内容合并为一行，将file2的内容合并为一行

六、split命令

split [OPTION]… [INPUT [PREFIX]]

将文件按大小分为多份

常用选项：

1. -output_file-size: 指定文件被分割的行数
2. prefix: 输出文件的前缀

常见用法：

split -20 file #将文件每20行进行一次分割

背景

在我们的实际开发过程中，经常会开发一些插件，比较常见的例子如：给你 DataHandler，它是一个抽象类，提供一些数据操作的接口，然后插件开发者就需要继承DataHandler，并按需求实现对应的接口，将其作为插件，编译到最终的二进制程序中，最后通过配置文件指定生效该插件。

//  data_handler.h

Class DataHandler {

public:

virtual bool Handle(std::vector<Data*> data_list) =0;

virtual ~DataHandler(){}

};

REGISTER_REGISTER(DataHandler)

#define REGISTER_DATA_HANDLER(name) REGISTER_CLASS(DataHandler, name)

// my_data_handler.h

class MyDataHandler : public DataHandler {

public:

virtual bool Handle(std::vector<Data*> result_list);

};

// my_data_handler.cc

bool MyDataHandler::Handle(std::vector<Data*> data_list) {

// Implemention...

}
REGISTER_DATA_HANDLER(MyDataHandler)

// configure file

DataHandler{

name : MyDataHanlder,

prior   : 1

}

DataHanlder{

name : YourDataHandler,

prior   : 1

}

此时你只需把你的MyDataHandler编译为动态库或者是静态库，并链接到最终二进制中，在数据处理时就会调用你的DataHandler。是不是很方便开发哈，这就是所谓的插件开发思想。下面主要介绍下具体的实现。

实现思想

想要实现上述功能的插件框架，主要从以下几个方面着手解决：

1. 如何组织不同类型的插件，如目前有DataHanlder，但是系统可能也支持ServiceHanlder等等；某类插件可能包含多个具体的实例的插 件，那又如何组织；这里很容易就想到了双层map的数据结构，如下图所示，每层Map的Key都插件类型或者具体插件名字，value为对应的工厂对象， 工厂对象生成对应的实例，具体如下图所示：

2.  如何生成对象工厂类呢？ 这里首先不能将这个工作交给插件开发者，一方面开发量增大，另一方面也暴漏系统实现细节；但是也不能框架开发者手工实现，因为框架本身无法预知都有哪些插件需要开发。

所以可能的方法包括模板函数或者是宏定义了，本文使用宏定义进行实现，包括插件类型工厂和某个插件工厂。

更多 >

在Stevens的《Unix 环境高级编程》中第11章线程关于pthread_cond_wait的介绍中有一个生产者-消费者的例子P311，
在进入pthread_cond_wait前使用while进行条件判断，而没有直接使用if,耐人费解！

代码如下：

#include <pthread.h>
struct msg {
  struct msg *m_next;
  /* value...*/
};

struct msg* workq;
pthread_cond_t qready = PTHREAD_COND_INITIALIZER;
pthread_mutex_t qlock = PTHREAD_MUTEX_INITIALIZER;

void
process_msg() {
  struct msg* mp;
  for (;;) {
    pthread_mutex_lock(&qlock);
	while (workq == NULL) {
	  pthread_cond_wait(&qread, &qlock);
	}
	mq = workq;
	workq = mp->m_next;
	pthread_mutex_unlock(&qlock);
	/* now process the message mp */
  }
}

void
enqueue_msg(struct msg* mp) {
	pthread_mutex_lock(&qlock);
	mp->m_next = workq;
	workq = mp;
	pthread_mutex_unlock(&qlock);
	/** 此时另外一个线程在signal之前，执行了process_msg,刚好把mp元素拿走*/
	pthread_cond_signal(&qready);
	/** 此时执行signal, 在pthread_cond_wait等待的线程被唤醒，
	    但是mp元素已经被另外一个线程拿走，所以，workq还是NULL ,因此需要继续等待*/
}

这里process_msg相当于消费者，enqueue_msg相当于生产者，struct msg* workq作为缓冲队列

解释如下

在process_msg中使用while(workq==NULL)循环判断条件，这里主要是因为在enqueue_msg中unlock之后才唤醒等待
的线程，会出现上述注释出现的情况,造成workq==NULL，因此需要继续等待。

但是如果将pthread_cond_signal移到pthread_mutex_unlock()之前执行，则会避免这种竞争，在unlock
之后，会首先唤醒pthread_cond_wait的线程，进而workq!=NULL总是成立。

因此建议使用while循环进行验证，以便能够容忍这种竞争。

通过Shell获得本机IP地址方法，直接上代码：

IP=`ifconfig  | grep  'inet addr:' | grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'`;
echo $IP;

如果想获得第一个IP地址的话，可以在grep ‘inet addr:’增加参数-m 1即可