记录学习过程中的点点滴滴
2013年十二月
使用Bash中Complete自动补全命令
十二 25th
大家在Linux下都用shell的TAB自动补全功能，非常方便，但是有时自己开发程序，可能需要自定义实现TAB自动补全功能，这时可能就会用到complete命令来实现对命令的自定义补全，本文主要介绍complete的用法，下一篇会着重介绍对ssh的自动补全的实现。
入门
首先先看一个非常简单的例子：
$ # Create a dummy command: $ touch ~/bin/myfoo $ chmod +x ~/bin/myfoo $ # Create some files: $ touch a.bar a.foo b.bar b.foo $ # Use the command and try auto-completion. $ # Note that all files are displayed: $ myfoo <TAB><TAB> a.bar a.foo b.bar b.foo $ # Now tell bash that we only want foo files. $ # This command tells bash args to myfoo are completed $ # by generating a list of files and then excluding $ # everything # that doesn't match *.foo: $ complete -f -X '!*.foo' myfoo $ # Tray again: $ myfoo <TAB><TAB> a.foo b.foo
- 首先自定义了command: myfoo, 然后测试对myfoo的自动补全功能，默认情况下，myfoo会自动列出当前目录的文件作为自动补全
内容 - complete -f -X ‘!*.foo’ myfoo ： 使用complete命令对myfoo自定义补全功能，参数含义：-f 是列出当前的文件 -X pattern 将符合pattern条件的文件exclude，这里主要是显示*.foo的文件，将*.bar文件排除在外
complete参数详解
complete [-abcdefgjksuv] [-o comp-option] [-A action] [-G globpat] [-W wordlist] [-P prefix] [-S suffix] [-X filterpat] [-F function] [-C command] name [name ...]
- -W wordlist: 自动补全使用的wordlist, 使用IFS分割，会和当前用户输入的Word做前缀比较，提示那些匹配的word list.
- -S suffix: 向每个自动补全word后添加suffix 后缀.
- -P prefix: 向每个自动补全word后添加prefix 前缀.
- -X filterpat: 对于文件名，将匹配pattern的文件名从completion list中移除(exclude), pattern中使用!表示否定
- -G globpat: 对于文件名，将匹配pattern的文件名作为可能的completion. 与-X刚好相反，-X “!*.foo” 与 -G “*.foo”作用相同
- -C command: 将command命令的执行结果作为可能的completion.
- -F function: 执行shell function，在function中对COMPREPLY这个数组复制，作为可能的completion
- -p [name]: 打印当前自定义的complete
- -r [name]: 删除当前自定的complete
- -A action : 表示生成可能的completion的方式，包括alias, file, directory等，具体请参看文后的参看资料
使用样例
- 使用-C -G -X参数
complete -C "pwd" ls # ls的自动补全为当前目录 complete -G "*.py" ls # ls的自动补全为.py文件 complete -X "*.py" ls # ls的自动补全为非.py文件
-
使用-F 参数自定义补全函数
function _mycomplete_() { local cmd="${1##*/}" # 当前命令 local word=${COMP_WORDS[COMP_CWORD]} #当前输入的字符串 local line=${COMP_LINE} #整行字符串 local xpat='*.py' # pattern # 根据word的值来补全当前非.py的文件file. COMPREPLY=($(compgen -f -X "$xpat" -- "${word}")) } # _mycomplete_函数可定义在.bash_profile中，然后执行 source ~/.bash_profile # 当然也可多个命令共用一个function, 只要_myfunction_作区分即可，比如对cmd执行case语句 # 生成不同的xpat complete -F _mycomplete_ myfoo #使用_mycomplete 作为myfoo的自动补全
参考资料
Hadoop MapReduce学习笔记1
十二 14th
Hadoop MapReduce是比较经典的Master/Slave架构设计，系统主要包括两大模块：
- JobTracker : 也就是我们所说的Master, 包括资源管理功能和作业调用功能；
- TaskTracker : Slave模块，或者称为Worker，任务执行的节点；
JobTracker中资源管理
- Hadoop以slot（槽位）代表计算资源，包括一定的内存和cpu核，具体细分为Map Slot和Reduce Slot，一个Task可占用多个slots；一个TaskTracker可划分多个slots（可配置）, slots间的资源隔离目前hadoop做的不是太好；
- TaskTracker作为具体的执行单元，采用pull的的方式拉取任务，TaskTracker会定期的向JobTracker发送心跳，心跳的信息包括：我还活着，TaskTracker中运行的task的状态，如果有空闲的slots的话，向JobTracker表明我有空闲资源，JobTracker以心跳应答的方式向TaskTracker分配新的Task;
- JobTracker不会主动的和TaskTracker联系，只会接收心跳，然后再应答中向TaskTracker发送指令，如启动Task, 杀死Task；如果长时间未收到TaskTracker的心跳，表明TaskTracker可能已宕机，则会重启TaskTracker上已经分配的任务到其他的TaskTracker中；
- 任务的调度策略：默认简单任务调度策略FIFO，可用户自定义任务的调度策略；
JobTracker中的作业控制
- Hadoop将作业分为三个层次：
- 作业: 用户提交的作业，使用JobInProgress控制作业的运行状态，包含多个Tasks
- Tasks: 包括Map Task 和 Reduce Task: 使用TaskInProgress控制任务的运行状态，可能包含多个Task Attempt.
- Task Attempt : 某个Task的运行一次尝试，这里采用的类似two-phase commit的协议，因为jobtracker可能会针对同一Task启动两个Attempt（谁先执行完，使用谁的计算结果，并把另外一个杀掉），然后才会提交task attempt的结作为Task的计算结果，在TaskTracker中执行.
- JobTracker会从TaskTracker的心跳汇聚TaskAttempt的运行状态，然后调度未完成的task，分配给TaskTracker.
c++中const变量问题的简单分析
十二 5th
今天同事问了关于const 值被更改的问题，这个问题在面试中也会经常被问到，所以专门写篇博客总结下。
代码如下
输出结果：a:10 p:20
简单分析：
其实针对该问题，原因比较简单，在printf调用中，由于a是常量，编译器做了优化，将a的值直接替换为10，所以在后续对a的内存位置进行更改为20时，并未对printf的a参数影响。当然，同事并未相信我的分析，我只能调用汇编后的代码进行分析。
深度分析：
1. 生成汇编代码：
g++ -S test.cpp # 输出的汇编代码位于test.s中
2. 汇编代码如下：
根据第26行，验证了我上述的分析，此时同事想让我讲下整个汇编代码的逻辑（我心里暗喜，刚好最近在上@林士鼎 的课程，顺便复习下）
3. 函数调用的知识
理解函数调用栈，有几个概念需要事先明确：
a. 栈的增长方式由高到低（大学课本里早就会背了，但是要真正理解）
b. 参数传递方式：寄存器 + 栈
c. %rsp : 栈头指针 ， push pop会更改对应的指针值
d. %rbp : 帧指针， 这个概念非常重要，当前函数的栈的起始位置，
使用%rbp + offset访问局部变量及传递的参数，下面这张图是@林士鼎 老师的课件中某个图
4. 汇编分析：
main: .LFB2: pushq %rbp # 将原来的帧指针保存 .LCFI0: movq %rsp, %rbp # 将当前%rsp 保存至%rbp, 当前帧 .LCFI1: subq $32, %rsp # 将栈下移32Bytes, 这32字节保存了main的参数和main中局部变量 .LCFI2: movl %edi, -4(%rbp) # 取 argc的值 movq %rsi, -16(%rbp) # 取argv的值， 为何会占12Bytes呢？ 后续分析 movl $10, -20(%rbp) # 将10赋值给a leaq -20(%rbp), %rax #取a的地址到%rax movq %rax, -32(%rbp) #将a的地址赋值给p(int *), 32的偏移有待分析 movq -32(%rbp), %rax # 去p的值到%rax movl $20, (%rax) # 对*p赋值 movq -32(%rbp), %rax movl (%rax), %edx #这两步相当于*p，同时将其赋值到寄存器作为printf的参数 movl $10, %esi #传递10参数（其实是a） movl $.LC0, %edi # "a:%d p:%d\n" movl $0, %eax #这个作用稍后分析 call printf movl $0, %eax #main函数的返回值 leave ret
变量在栈的位置分布情况：
5. 其他问题分析：
a. 为何argv 和 p在栈的位置偏移异常，这里主要是因为argc 和a 的大小为4Bytes, 而系统是64Bits， 所以存在8Bytes对齐，
这里可以验证，在a后面单独声明一个b变量，发现其在栈的空间刚好为间隙的位置
b. movl $0, %eax 这句话的作用：当对于变参的参数传递时，%eax标示的使用vector register的数目（可以向printf传递float类型参数进行验证）
参考资料：
1. http://stackoverflow.com/questions/6212665/why-is-eax-zeroed-before-a-call-to-printf
2. http://yaronspace.cn/blog/archives/1347
近期评论