批处理之家 - Powered by Discuz! Board

标题: [原创] gawk学习笔记 [打印本页]

作者: cjiabing 时间: 2013-5-13 15:30 标题: gawk学习笔记

本帖最后由 cjiabing 于 2013-5-13 17:03 编辑

决定学习流文本处理工具gawk，做个笔记和大家分享。持续更新……2013/05/13
gawk.exe下载地址：http://www.bathome.net/thread-21366-1-1.html

首先学习参数：
注意大小写的区别！~！~

用法: gawk [POSIX or GNU style options] -f progfile [--] file ...
用法: gawk [POSIX or GNU style options] [--] 'program' file ...

POSIX 选项: GNU 长选项: (标准)
-f progfile --file=progfile
-F fs --field-separator=fs 字段分隔符
-v var=val --assign=var=val
短选项: GNU 长选项: (扩展)
-b --characters-as-bytes 字符作为字节
-c --traditional 传统
-C --copyright 版权
-d[file] --dump-variables[=file] 转储变量
-e 'program-text' --source='program-text'
-E file --exec=file
-g --gen-pot
-h --help 帮助
-L [fatal] --lint[=fatal]
-n --non-decimal-data 非十进制数字
-N --use-lc-numeric
-O --optimize 优化
-p[file] --profile[=file]
-P --posix
-r --re-interval 间隔
-S --sandbox 沙箱
-t --lint-old 线头
-V --version 版本
To report bugs, see node `Bugs' in `gawk.info', which is section `Reporting Problems and Bugs' in the printed version.
gawk is a pattern scanning and processing language.
By default it reads standard input and writes standard output.
举例:
gawk '{ sum += $1 }; END { print sum }' file
gawk -F: '{ print $1 }' /etc/passwd

开始学习
在批处理中，命令外层使用双引号代替单引号。语法格式：

gawk  "······参数……"   文件
复制代码

@echo off 
gawk  "$0 ~ /\从统计学角度.*/" 123.txt
::搜索“从统计学角度”所在的行。
pause
gawk "/\从统计学角度/" 123.txt
::搜索“从统计学角度”所在的行。
pause
gawk  "END{print NR}"  123.txt
::统计行数
pause
gawk  "{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }"  123.txt
::倒排文本
pause
gawk "{ print $NF }"   123.txt
::打印每行的最后一列
pause
复制代码

作者: cjiabing 时间: 2013-5-13 15:30

本帖最后由 cjiabing 于 2013-5-13 18:06 编辑

转载一篇应用说明，为了能直接在批处理文件里试验，修改和替换了原文的几处地方：

一是单引号改成了双引号
二是#改成了rem
三是awk改成了gawk

Unix: gawk "/pattern/ {print "$1"}" # 标准 Unix shell环境
DOS/Win: gawk "/pattern/ {print "$1"}" # DJGPP 可编译通过
gawk "/pattern/ {print \"$1\"}" # GnuWin32，UnxUtils，Mingw环境

需要特别注意的是，DJGPP编译器可以允许awk脚本使用Unix的引号语法 "/like/ {"this"}"。但是，用户必须知道在DOS/Windows环境下，使用CMD.EXE或者COMMAND.COM程序的话，单引号并不能保护重定向符号（<, >）和管道（|）。如果使用双引号的话，在DOS/CMD命令解释器下的特殊符号和他们的特殊含义都会被忽略。如果你的命令提示符是bash、ksh或者其他的Unix终端，单引号和双引号会沿用Unix标准的用法。

同样，DOS/Win用户必须记住用，百分号（%）用来标记DOS/Win环境变量，如果想要在awk使用的话，需要使用双百分号（%%）来表示一个百分号%。

如果我能确定一个脚本不需要被指出是使用在Unix, DOS或者CMD环境下，我通常会省略引号。如果一个例子是GNU awk所特有的，将会用 "gawk"命令来代替。如果你发现错误或者新的命令想要添加到这个列表里（总长度控制在65个字符一下），请通知我。首先我经常会尝试去写一个最短字符的脚本。为了省空间，我通常使用"1"来代替"{print}"去打印每行，两种写法都能正确运行。

文本间隔：

Rem 每行后面增加一行空行
gawk "1;{print ""}"
gawk "BEGIN{ORS="\n\n"};1"

Rem 每行后面增加一行空行。输出文件不会包含连续的两个或两个以上的空行
Rem 注意：在Unix系统， DOS行包括的 CRLF （\r\n）通常会被作为非空行对待
Rem 因此 "NF" 将会返回TRUE。
gawk "NF{print $0 "\n"}"

Rem 每行后面增加两行空行
gawk "1;{print "\n"}"

编号和计算：

Rem 以文件为单位，在每句行前加上编号（左对齐）
Rem 使用制表符（\t）来代替空格可以有效保护页变的空白。
gawk "{print FNR "\t" $0}" files*

Rem 用制表符（\t）给所有文件加上连贯的编号。
gawk "{print NR "\t" $0}" files*

Rem 以文件为单位，在每句行前加上编号（编号在左，右对齐）
Rem 如果在DOS环境下，需要写两个"%"
gawk "{printf("%5d : %s\n", NR,$0)}"

Rem 给非空白行的行加上编号
Rem 记得Unix对于 \r 的处理的特殊之处。（上面已经提到）
gawk "NF{$0=++a " :" $0};{print}"
gawk "{print (NF? ++a " :" :"") $0}"

Rem 计算行数（模拟 "wc -l"）
gawk "END{print NR}"

Rem 计算每行每个区域之和
gawk "{s=0; for (i=1; i<=NF; i++) s=s+$i; print s}"

Rem 计算所有行所有区域的总和
gawk "{for (i=1; i<=NF; i++) s=s+$i}; END{print s}"

Rem 打印每行每区域的绝对值
gawk "{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }"
gawk "{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }"

Rem 计算所有行所有区域（词）的个数
gawk "{ total = total + NF }; END {print total}" file

Rem 打印包含 "Beth" 的行数
gawk "/Beth/{n++}; END {print n+0}" file

Rem 打印第一列最大的行
Rem 并且在行前打印出这个最大的数
gawk "$1 > max {max=$1; maxline=$0}; END{ print max, maxline}"

Rem 打印每行的列数，并在后面跟上此行内容
gawk "{ print NF ":" $0 } "

Rem 打印每行的最后一列
gawk "{ print $NF }"

Rem 打印最后一行的最后一列
gawk "{ field = $NF }; END{ print field }"

Rem 打印列数超过4的行
gawk "NF > 4"

Rem 打印最后一列大于4的行
gawk "$NF > 4"

构建字符串：

Rem 构建一指定长度的字符串（比如，513个空格）
gawk "BEGIN{while (a++<513) s=s " "; print s}"

Rem 在某一位置中插入以特定长度的字符串
Rem 例子：在每行第6列后插入49个空格
gawk --re-interval "BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1"

构建数组：

Rem 以下两个部分并不是一句话脚本，但是这些技巧相当便捷所以也包括进来

Rem 构建一个叫"month"的数组，以数字为索引，month[1]就是"Jan"，month[2]就是
Rem "Feb"，month[3]就是"Mar"，以此类推。
split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")

Rem 构建一个叫"mdigit"的数组，以字符串为索引，mdigit["Jan"] 等于 1，
Rem mdigit["Feb"] 等于 2，等等。需要有"month"数组。
for (i=1; i<=12; i++) m_digit[month] = i

文本转换和替代：

Rem 在Unix环境：转换DOS新行（CR/LF）为Unix格式
gawk "{sub(/\r$/,"")};1" Rem 假设每行都以Ctrl-M结尾

Rem 在Unix环境：转换Unix新行（LF）为DOS格式
gawk "{sub(/$/,"\r")};1"

Rem 在DOS环境：转换Unix新行（LF）为DOS格式
awk 1

Rem 在DOS环境：转换DOS新行（CR/LF）为Unix格式
Rem DOS版本的awk不能运行, 只能用gawk:
gawk -v BINMODE="w" "1" infile >outfile

Rem 用 "tr" 替代的方法。
tr -d \r <infile >outfile Rem GNU tr 版本为 1.22 或者更高

Rem 删除每行前的空白（包括空格符和制表符）
Rem 使所有文本左对齐
gawk "{sub(/^[ \t]+/, "")};1"

Rem 删除每行结尾的空白（包括空格符和制表符）
gawk "{sub(/[ \t]+$/, "")};1"

Rem 删除每行开头和结尾的所有空白（包括空格符和制表符）
gawk "{gsub(/^[ \t]+|[ \t]+$/,"")};1"
gawk "{$1=$1};1" Rem 每列之间的空白也被删除

Rem 在每一行开头处插入5个空格（做整页的左位移）
gawk "{sub(/^/, " ")};1"

Rem 用79个字符为宽度，将全部文本右对齐
gawk "{printf "%79s\n", $0}" file*

Rem 用79个字符为宽度，将全部文本居中对齐
gawk "{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}" file*

Rem 每行用 "bar" 查找替换 "foo"
gawk "{sub(/foo/,"bar")}; 1"
Rem 仅仅替换第一个找到的"foo"
ggawk "{$0=gensub(/foo/,"bar",4)}; 1"
Rem 仅仅替换第四个找到的"foo"
gawk "{gsub(/foo/,"bar")}; 1"
Rem 全部替换

Rem 在包含 "baz" 的行里，将 "foo" 替换为 "bar"
gawk "/baz/{gsub(/foo/, "bar")}; 1"

Rem 在不包含 "baz" 的行里，将 "foo" 替换为 "bar"
gawk "!/baz/{gsub(/foo/, "bar")}; 1"

Rem 将 "scarlet" 或者 "ruby" 或者 "puce" 替换为 "red"
gawk "{gsub(/scarlet|ruby|puce/, "red")}; 1"

Rem 倒排文本（模拟 "tac"）
gawk "{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }" file*

Rem 如果一行结尾为反斜线符，将下一行接到这行后面
Rem （如果有连续多行后面带反斜线符，将会失败）
gawk "/\\$/ {sub(/\\$/,""); getline t; print $0 t; next}; 1" file*

Rem 排序并打印所有登录用户的姓名
awk -F ":" "{ print $1 | "sort" }" /etc/passwd

Rem 以相反的顺序打印出每行的前两列
gawk "{print $2, $1}" file

Rem 调换前两列的位置
gawk "{temp = $1; $1 = $2; $2 = temp}" file

Rem 打印每行，并删除第二列
gawk "{ $2 = ""; print }"

Rem 倒置每行并打印
gawk "{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}" file

Rem 用逗号链接每5行
gawk "ORS=NR%5?",":"\n"" file

选择性的打印某些行：

Rem 打印文件的前十行（模拟 "head"）
gawk "NR < 11"

Rem 打印文件的第一行（模拟 "head -1"）
gawk "NR>1{exit};1"

Rem 打印文件的最后两行（模拟 "tail -2"）
gawk "{y=x "\n" $0; x=$0};END{print y}"

Rem 打印文件的最后一行（模拟 "tail -1"）
gawk "END{print}"

Rem 打印匹配正则表达式的行（模拟 "grep"）
gawk "/regex/"

Rem 打印不匹配正则表达式的行（模拟 "grep -v"）
gawk "!/regex/"

Rem 打印第5列等于"abc123"的行
gawk "$5 == "abc123""

Rem 打印第5列不等于"abc123"的行
Rem 这个同样可以用于打印少于5列的行
gawk "$5 != "abc123""
gawk "!($5 == "abc123")"

Rem 用正则匹配某一列
gawk "$7 ~ /^[a-f]/" Rem 打印第7列匹配的行
gawk "$7 !~ /^[a-f]/" Rem 打印第7列不匹配的行

Rem 打印匹配正则表达式的前一行，但是不打印当前行
gawk "/regex/{print x};{x=$0}"
gawk "/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}"

Rem 打印匹配正则表达式的后一行，但是不打印当前行
gawk "/regex/{getline;print}"

Rem 以任何顺序查找包含 AAA、BBB 和 CCC 的行
gawk "/AAA/; /BBB/; /CCC/"

Rem 以指定顺序查找包含 AAA、BBB 和 CCC 的行
gawk "/AAA.*BBB.*CCC/"

Rem 打印长度大于64个字节的行
gawk "length > 64"

Rem 打印长度小于64个字节的行
gawk "length < 64"

Rem 打印从匹配正则起到文件末尾的内容
gawk "/regex/,0"
gawk "/regex/,EOF"

Rem 打印指定行之间的内容（8-12行, 包括第8和第12行）
gawk "NR==8,NR==12"

Rem 打印第52行
gawk "NR==52"
gawk "NR==52 {print;exit}"
Rem 对于大文件更有效率

Rem 打印两个正则匹配间的内容（包括正则的内容）
gawk "/Iowa/,/Montana/"
Rem 大小写敏感

选择性的删除某些行：

Rem 删除所有空白行（类似于 "grep "." "）
awk NF
gawk "/./"

Rem 删除重复连续的行（模拟 "uniq"）
gawk "a !~ $0; {a=$0}"

Rem 删除重复的、非连续的行
gawk "! a[$0]++"
Rem 最简练
gawk "!($0 in a) {a[$0];print}"
Rem 最有效

致谢：

特别感谢 Peter S. Tillier 帮助我完成了一版的FAQ。同样感谢Daniel Jana、董一粟和其他提出建议和修正的人。

更多的语法指令，包括用文件脚本来使用awk，可以参考如下：

"sed & awk, 2nd Edition," by Dale Dougherty and Arnold Robbins
O'Reilly, 1997
"UNIX Text Processing," by Dale Dougherty and Tim O'Reilly
Hayden Books, 1987
"GAWK: Effective awk Programming," 3d edition, by Arnold D. Robbins
(O'Reilly, 2003) 或者网址 http://www.gnu.org/software/gawk/manual/

为了能开发awk的强大功能，开发人员必须知道 "正则表达式"。关于正则的详细讨论，可以查看 "Mastering Regular Expressions, 3d edition" by Jeffrey Friedl (O'Reilly,2006).

在Unix系统下info和帮助手册("man")会非常有帮助（尝试使用"man awk"、"man nawk"、"man gawk"、"man regexp"或者"man ed"里面的正则表达式章节）。

在awk脚本里面使用 "\t"：为了使文档变得清晰，我们在脚本里使用了表达式"\t"来显示一个制表符（0x99）。所有awk的版本，甚至UNIX系统7的版本应该能认出"\t"这种缩写。

#---文件结尾---
[/code]

作者: cjiabing 时间: 2013-5-13 15:30

本帖最后由 cjiabing 于 2013-5-13 20:50 编辑

[转贴] 正则表达式30分钟入门教程
http://www.bathome.net/viewthread.php?tid=12811
注意：此网页提供的例子不能直接用在gawk中。

作者: cjiabing 时间: 2013-5-13 15:30

本帖最后由 cjiabing 于 2013-5-13 21:43 编辑

实在找不到更好的总结资料，只好从论坛搜索现场使用例子！~

gawk -F\" "{print $1}" a.txt
rem 指定引号为分隔符

gawk "/\[/" a.txt
Gawk "$0 ~ /\[.*/" a.txt
@echo off
for /f "delims=" %%i in ('Gawk "$0!~/^$/{m++}END{print m}" JJ.txt') do set m=%%i
echo m=%m%
pause
rem 查找含有“[”的行

gawk "{if(NR>1 && $0~/^DA,/)print \"\"; printf $0}" a.txt >b.txt
rem 连接连续的行

gawk "BEGIN {i=1}{if ($0==\"标题\") print $0,i}" a.txt >b.txt
rem 读ansi编码（shell）

gawk "BEGIN{for(i=1;i<=3;i++){print i,"i";while(getline<\"b.txt\")print $0;close(\"b.txt\")}}"
rem 循环文本（shell）

gawk "/^[a-z]+$/" a.txt
rem 提取纯字母

gawk "BEGIN{srand();printf (\"%-4d\n\",rand()*10000)}"
rem 获取指定范围随机数

gawk "{a[$1]=a[$1]\" \"$2}END{for(i in a)print i,a}" a.txt >b.txt
rem 拼接第一列相同的行（shell）

sed "[url=]s/cd/@\n/g[/url]" a.txt | sed "[url=]/ab.*@$/!d[/url]; s/.*ab//; s/@$//"
rem 提取指定字符之间的字符串

gawk "{print substr($0,1,7),substr($0,8)}" 1.txt
rem 按条件切割后重新排列

gawk "NR>1" a.txt
gawk "NR!=1" a.txt
gawk "NR>=2" a.txt
gawk "{if(NR==1)next}1" a.txt
gawk "row{print row}{row=$0}" a.txt
gawk "NR>1{print row}{row=$0}" a.txt
gawk "{a[NR]=$0}END{for(i=1;i<=NR-1;i++)print a}" a.txt
1、删除第一行
2、删除最后一行
3、删除第三行到第五行
4、保留第一行删除其它行
5、保留最后一行删除其它行
6、保留第三行到第五行删除其它行
#删除第三行到第五行
gawk "NR<3||NR>5" a.txt
gawk "!(NR>=3&&NR<=5)" a.txt
#保留第一行删除其它行
gawk "NR==1" a.txt
gawk "{print;exit}" a.txt
#保留最后一行删除其它行
gawk "END{print}" a.txt
#保留第三行到第五行删除其它行
gawk "!(NR<3||NR>5)" a.txt
gawk "NR>=3&&NR<=5" a.txt

gawk "{n=index($0,\"ok\")+3;print substr($0,n)}" a.txt > b.txt
rem 删除指定字符前的行

gawk "/<提取行>/{n=split($0,a,\")\");for(i=1;i<n-1;i++)printf \"%s(\",a;print a}" a.txt | gawk -F( "{for(i=2;i<NF;i+=2)printf \"%s;\",$i;print $i}" >b.txt
rem 从一行字符串中提取特殊字符串
gawk "BEGIN{d=60*60*24;now=systime();yesterday=strftime(\"%Y-%m-%d\", now-d);print yesterday}'
rem 建立以昨天日期命名的文件夹
gawk "{n=index($0,\"ok\")+3;print substr($0,n)}" a.txt > b.txt
rem 删除指定字符前的行
gawk -F"[=&;]" "{for(i=1;i<=NF;i++)if($i==\"username\"){j=i+1;print $j}}" a.txt
rem 取出八至九位的数字
gawk "BEGIN{RS=\"\"}{print $0 > n++\".txt\"}" urfile
rem 按要求分离文件
gawk "{a[NR]=$0} END{for(j=NR;j>=0;j--)print a[j]}" urfile.txt
rem 重新排序

gawk -F":" "{print substr($0,1,15)}" SunWb_MB1.txt>result.txt
rem 只保留每行前12个字符？

gawk -F- "!a[$1]++" a.txt >b.txt
rem 根据文本前8个字母删除重复项

gawk "!a[$0]++"<a.txt>b.txt
rem 删除重复行

gawk "{if ($0==\"444\"){print \"ddd\"}else {if($0==\"222\"){print $0,\"\naaa\"}else{print}}}" a.txt
rem 插入行与替换行

gawk "!a[$0]++" a.txt >result.txt
rem 过滤重复行

作者: cjiabing 时间: 2013-5-13 15:31

占位编辑

作者: terse 时间: 2013-5-13 16:53

占位共勉字符够

欢迎光临批处理之家 (http://bathome.net./)

Powered by Discuz! 7.2