今天有个分析日志的需求,要获得指定的几个请求的响应时间的最大值，最小值和平均值
从nginx配置中找到日志的格式如下：
log_format _main '$remote_addr "$time_iso8601" $request_method "$uri" "$args" "$request_body" $status $body_bytes_sent $request_time "$http_user_agent"';
倒数第二项$request_time即为响应时间
实际日志截取部分如下，域名换掉了：
10.100.27.171 "2015-08-01T00:00:02+08:00" GET "/interface/ipad_v3/sub_channels" "cid=85&ver=3.9.5" "-" 200 588 0.003 "api.3g.example.com/3.0"
10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/ios_v3/sub_channel_details_with_playlist" "sub_channel_id=227&ver=3.9" "-" 200 2912 0.334 "api.3g.example.com/3.0" 10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/android_v3/sub_channel_details" "sub_channel_id=107&show_game_information=1&ver=4.8" "-" 200 3480 0.129 "api.3g.example.com/3.0"
日志文件名格式大概是log.20150801这样的，我打算把脚本和日志放一个文件夹下
一开始函数是这么写的，需要注意的是，$1既能表示shell函数的第一个参数，又能表示awk中的第一个域，有冲突。所以用'"$1"'，用'将前面的句子关闭，然后在""中插入shell的参数$1，再用'开启后面的句子；也可以用awk -v needle="$1"这种赋值替换方式 #! /bin/bashfunction get_min(){ ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Min = ", $9}' | sort -n -k 2 | head -1}function get_max() { ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Max = ", $9}' | sort -rn -k 2 | head -1}function get_avg() { ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{sum+=$9} END {print "Average = ", sum/NR}'} 最容易想到的，明显不是最优的，代码很冗余。将文件遍历一次，最大最小和平均都可以计算出来的，再不济，最大值和最小值其实在排序之后就出来了，可以这样用sed输出两条记录
awkfunction get_min_and max { ls | grep 'log.' | xargs cat | awk '$8=200 && $4 ~/^"'"$1"'/{print $9}' | sort -n -k 2 | sed -n '1p;$p'} 仔细研究了下awk，最后的代码是这样的
awk#! /bin/bashfunction cal_work(){ ls | grep 'log.' | xargs cat | awk 'BEGIN{max=0;min=1} {if ($4 ~ /^"'"$1"'/ && $(NF-3)==200){ sum+=$9; count+=1; if($9 > max) max=$9 fi;if($9 < min) min=$9 fi; } } END {print "Average = ", sum/count;print "Max = ", max;print "Min", min}'}function get_stat(){ target=$1 target=${target//\//\\/} cal_work $target}get_stat '/interface/ipad_v3/sub_channels' 要查询的path中有斜杠，斜杠前要加'\'转义，这一步在get_stat中进行