正则sed/awk的用法
*sed可以实现一些grep的功能，但是稍微麻烦了一些，sed的强项在于删除文件中的内容和替换
创新互联建站成立于2013年，是专业互联网技术服务公司，拥有项目成都做网站、成都网站制作网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元内蒙古做网站,已为上家服务,为内蒙古各地企业和个人服务,联系电话:18980820575
sed实现grep检索功能：
1.根据关键字检索：
[root@localhost ~]# sed -n '/root/'p passwd.txt *使用sed检索时需要在关键字前加-n参数，关键字后加p，关键词还需要用 // 包括起来
2.关键字有特殊符号时加上 -r 参数或使用脱义符
[root@localhost ~]# sed -nr '/o+t/'p passwd.txt 3.打印指定行：（打印指定行时直接写行号即可，不需要加//符号括起来）
[root@localhost ~]# sed -n '5'p passwd.txt
[root@localhost ~]# sed -n '5,$'p passwd.txt #打印第五行至最后一行4.-e 参数：使用多个表达式：
[root@localhost ~]# sed -e '1'p -e '/root/'p -n passwd.txt *打印第一行内容并检索包含root的行，如果第一行同时包含root，那么第一行会被打印两次
5.不区分大小写：（加上大写的i）
[root@localhost ~]# sed -n '/testword/'Ip passwd.txt sed删除功能：
1.删除打印结果中指定的行：
[root@localhost ~]# wc -l passwd.txt
22 passwd.txt
#查看文件行数
[root@localhost ~]# sed '1,20'd passwd.txt
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
#删除第1-20行，打印剩余的行
[root@localhost ~]# wc -l passwd.txt
22 passwd.txt
#该操作不会真实删除文件内容，只是删除打印结果2.-i 参数：删除文件中指定的行（加上 -i参数后会真实删除文件内容）
[root@localhost ~]# wc -l passwd.txt
22 passwd.txt
[root@localhost ~]# sed -i '1,20'd passwd.txt
[root@localhost ~]# wc -l passwd.txt
2 passwd.txt*用于在删除大日志文件内容时比较常用
sed替换功能：
1.根据关键字替换：
[root@localhost ~]# cat passwd.txt
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed 's/chrony/sed_test/g' passwd.txt
sed_test:x:998:996::/var/lib/sed_test:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash*格式： 's/ 被替换关键字 / 替换内容 /g'
2.特殊符号匹配时加 -r 参数：
[root@localhost ~]# cat passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed -r 's/n+y/sed_test/g' passwd.txt
sed_test:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash3.分段替换位置：
[root@localhost ~]# cat passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:\1/g' passwd.txt
/sbin/nologin:x:998:996::/var/lib/chronwy:nnnnny
/bin/bash:x:1000:1000::/home/linux01:linux01*使用冒号分割为3段，将第三段和第一段位置互换
4.配置关键词为目录路径时加上脱义符或使用其他替换符号：
[root@localhost ~]# cat passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed 's/\/bin\/bash/AAAAAAA/g' passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:AAAAAAA
[root@localhost ~]# sed 's#/bin/bash#AAAAAAA#g' passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:AAAAAAA5.删除所有字母：
[root@localhost ~]# cat passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed 's/[a-zA-Z]//g' passwd.txt
::998:996::///://
01::1000:1000:://01://6.在每行前添加内容：
[root@localhost ~]# cat passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed -r 's/.*/sed_test:&/g' passwd.txt
sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash*匹配每行所有内容：.*，&符号代表.*的内容
7.真实替换文件中的内容：-i 参数（以上6条示例都不会实际更改文件内容，只更改替换完成的打印输出结果）
[root@localhost ~]# cat passwd.txt
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# sed -i 's/.*/sed_test:&/g' passwd.txt
[root@localhost ~]# cat passwd.txt
sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash补充：
把每个单词的第一个小写字母变大写：
sed 's/\b[a-z]/\u&/g' filename
把所有小写变大写：
sed 's/[a-z]/\u&/g' filename
大写变小写：
sed 's/[A-Z]/\l&/g' filename
sed在某一行最后添加一个数字
sed -r 's/(^a.*)/\1 12/' test
sed -r 's/^a.*/& 12/' test
打印1到100行含某个字符串的行
sed -n '1,100{/abc/p}' 1.txt
*awk相比grep/egrep/sed的功能更加强大，默认支持拓展正则表达式，grep需要加 -E 参数，sed需要加 -r 参数
1.分割文件内容打印指定段数：
[root@localhost ~]# cat test.txt
zhangsan 100
lisi 92
wangwu 95
user1 88
user2 93
[root@localhost ~]# awk '{print $1}' test.txt
zhangsan
lisi
wangwu
user1
user2*默认以空格为分隔符，$指定打印的段数
2.-F参数：指定分隔符：
[root@localhost ~]# cat passwd.txt
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '{print $3}' passwd.txt
nnnnny
linux01
#打印多段时用逗号区分
[root@localhost ~]# awk -F ':' '{print $1,$3}' passwd.txt
AAAA nnnnny
AAAA linux01
#指定打印结果中段与段的分割符号
[root@localhost ~]# awk -F ':' '{print $1"-->"$3}' passwd.txt
AAAA-->nnnnny
AAAA-->linux01*awk {print $0}表示打印所有，相当于cat
3.awk检索：（相当于grep）
[root@localhost ~]# cat passwd.txt
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk '/nnn/' passwd.txt
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin4.检索指定段中包含关键字的行：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$1 ~/AAA/' passwd.txt
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash5.多个表达式组合使用：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '/linux/ {print $1,$3} /nnn/ {print $2,$3}' passwd.txt
sed_test nnnnny
AAAA linux01*打印包含linux关键字的行的第1和第3段，打印包含nnn关键字的第2和第3段
6.检索多个关键词的行并指定打印段：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '/linux|nnn/ {print $1}' passwd.txt
ABCD
AAAA7.通过运算符号检索：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$5==1000' passwd.txt
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$5==1000 {print $1}' passwd.txt
AAAA8.针对数字判断时，不加双引号，否则判断条件会被当做字符串而不是数字（数字当做字符串判断时，根据ASCII码判断，998大于1000）：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$5<1000' passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
#加上双引号后1000被当做了字符串，而不是数字
[root@localhost ~]# awk -F ':' '$5<"1000"' passwd.txt
[root@localhost ~]# 9.字符串判断：（判断字符串时判断条件加上双引号）
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$9!="/sbin/nologin"' passwd.txt
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash10.两个字段之间比较和多个条件检索：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$5>$6' passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
[root@localhost ~]# awk -F ':' '$5>$6 {print $5,$6}' passwd.txt
998 996
[root@localhost ~]# awk -F ':' '$5>999' passwd.txt
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '$5>900 && $6<999' passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
[root@localhost ~]# awk -F ':' '$5>999 || $9=="/sbin/nologin"' passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash*最后一种字符串判断除了用==符号还可以用~检索
11.OFS：指定打印结果分隔符：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '{OFS="***"} {print $1,$2,$3}' passwd.txt
ABCD***sed_test***nnnnny
AAAA***sed_test***linux01
[root@localhost ~]# awk -F ':' '{OFS="***"} $5<1000 {print $1,$2,$3}' passwd.txt
ABCD***sed_test***nnnnny12.NR：在每行前面显示行数：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '{print NR":" $0}' passwd.txt
1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash13.NF：在每行前面显示段数：
[root@localhost ~]# awk -F ':' '{print NF":" $0}' passwd.txt
9:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
9:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash14.根据行数或者段数显示指定的行：
1）显示行号小于2的行：
[root@localhost ~]# awk -F ':' '{print NR":" $0}' passwd.txt
1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk 'NR<2' passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin2）显示前10行并且第一段为AAAA的行：
[root@localhost ~]# awk -F ':' 'NR<10 && $1 ~/AAAA/' passwd.txt
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash15.=和==的区别：（==是匹配相等的数字或字符串，=是赋值）
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ":" '$1=="ABCD"' passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
[root@localhost ~]# awk -F ":" '$1="hello"' passwd.txt
hello sed_test nnnnny x 998 996 /var/lib/chronwy /sbin/nologin
hello sed_test linux01 x 1000 1000 /home/linux01 /bin/bash16.求和：
[root@localhost ~]# cat passwd.txt
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash
[root@localhost ~]# awk -F ':' '{(tot=tot+$5)}; END {print tot}' passwd.txt
1998补充：
.表示任意1个字符
* a b o 前面的这个字符有0或者多个
abc* ===> ab、abccc
.* 贪婪匹配
? 扩展正则 表示：?前面的字符有0个或1个
a1？ ==> a or a1
+ 扩展正则 表示：+前面的字符有1个或多个
| 扩展正则 表示：或者
egrep 'abc|123' 1.txt
[ ] 表示方括号里面的1个字符
[a-zA-Z0-9] 表示所有大小写字母和数字
[abc] 表示a或b或c
[a|@] 表示a或|或@
[^] 表示非，取反
^ 表示开头
$ 表示结尾
{ } 表示范围
a{1,5} ===> a或aa或aaa或aaaa或aaaaa
b{3} ===> bbb
( ) 小括号里面的字符看成一个整体
(abc){2} ==》 abcabc
(abc)+ ==>abc或abcabc或abc*n
abc{2} ==> abcc
扩展正则符号： ? + | { } 使用时grep -E 、sed -r
网页标题：正则sed/awk的用法
网站网址：http://myzitong.com/article/iegdhc.html