Linux三剑客之AWK:从入门到精通

引言

在Linux系统中，grep、sed和awk被誉为文本处理三剑客，它们各自有着独特的文本处理能力。其中，awk最为强大，不仅能够处理文本，还能进行复杂的编程操作。今天，我们就来深入探讨这个功能强大的文本处理工具。

awk由Alfred Aho、Peter Weinberger和Brian Kernighan三位计算机科学家在1977年开发，取他们姓氏的首字母命名。它是一种专为文本处理而设计的解释型编程语言，特别适合处理结构化的文本数据。

一、AWK的工作原理

AWK的工作流程可以分为三个步骤：

1. 初始化阶段：执行BEGIN块中的语句（如果有的话）
2. 处理阶段：逐行读取输入文件或标准输入，对每一行：
• 按照指定的分隔符（默认为空格或制表符）分割成字段
• 根据模式进行匹配，如果匹配成功，则执行相应的操作
3. 结束阶段：处理完所有行后，执行END块中的语句（如果有的话）

这种"一次处理一行"的特性使得AWK能够高效处理大文件，而不会像vim那样需要将整个文件加载到内存中。

二、AWK的基本语法

AWK的基本语法格式为：

awk [选项] '模式{操作}' 文件名
bash复制代码

或者使用脚本文件：

awk [选项] -f 脚本文件 文件名
bash复制代码

其中，模式（pattern）和操作（action）都是可选的。如果没有指定模式，则对所有行执行操作；如果没有指定操作，则默认执行打印整行（print $0）的操作。

三、AWK的常用参数详解

1. -F参数：指定输入字段分隔符

-F参数用于指定输入时的字段分隔符，默认情况下，AWK使用空格或制表符作为分隔符。

# 使用冒号作为分隔符，打印/etc/passwd文件的第一列
[root@server ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
abrt
tss
postfix
chrony
sshd
mysql
bash复制代码

2. -v参数：定义变量并赋值

-v参数用于在AWK脚本中创建变量并赋值。

# 定义变量var并赋值为"hello"，然后打印每行的第一列和变量var
[root@server ~]# echo -e "apple\nbanana\norange" | awk -v var="hello" '{print var, $1}'
hello apple
hello banana
hello orange
bash复制代码

3. -f参数：从文件中读取AWK脚本

-f参数允许从文件中读取AWK脚本，这对于处理复杂的文本处理任务非常有用。

首先创建一个AWK脚本文件print_first.awk：

[root@server ~]# cat > print_first.awk <<EOF
{
print"第一列:"
, $1
print"第二列:"
, $2
}
EOF
bash复制代码

然后使用该脚本：

[root@server ~]# echo -e "apple banana orange\ngrape pear melon" | awk -f print_first.awk
第一列: apple
第二列: banana
第一列: grape
第二列: pear
bash复制代码

4. 其他常用参数

• -c：使用兼容模式
• -C：显示版权信息
• -h：显示帮助信息
• -V：显示版本信息

[root@server ~]# awk -V
awk version 20200816
bash复制代码

四、AWK的内置变量

AWK提供了许多内置变量，用于存储和处理数据：

1. 字段变量

• $0：当前整行内容
• $1, $2, ...：字段变量，分别表示第一列、第二列等

[root@server ~]# echo -e "apple banana orange\ngrape pear melon" | awk '{print $0; print $1, $3}'
apple banana orange
apple orange
grape pear melon
grape melon
bash复制代码

2. 记录和字段数量

• NR：已读的记录数（行号）
• FNR：当前文件的记录数（处理多个文件时有用）
• NF：浏览记录域的个数（字段数量）

[root@server ~]# echo -e "apple banana orange\ngrape pear melon" | awk '{print "行号:", NR, "字段数:", NF, "第一列:", $1}'
行号: 1 字段数: 3 第一列: apple
行号: 2 字段数: 3 第一列: grape
bash复制代码

3. 分隔符变量

• FS：设置输入域分隔符（与-F参数等效）
• OFS：输出域分隔符
• RS：控制记录分隔符（默认为换行符）
• ORS：输出记录分隔符

[root@server ~]# echo -e "apple:banana:orange\ngrape:pear:melon" | awk -F: '{OFS="|"; print $1, $3}'
apple|orange
grape|melon
bash复制代码

五、AWK的模式和操作

1. 模式（Pattern）

AWK的模式可以是以下几种：

• 正则表达式：/pattern/
• 关系表达式：如 $1 > 100
• 范围模式：/start_pattern/, /end_pattern/
• BEGIN和END：分别在处理开始和结束时执行

# 使用正则表达式匹配
[root@server ~]# echo -e "apple\nbanana\norange" | awk '/a/{print $0}'
apple
banana
orange
# 使用关系表达式
[root@server ~]# echo -e "10 apple\n20 banana\n15 orange" | awk '$1 > 15{print $0}'
20
 banana
# 使用范围模式
[root@server ~]# echo -e "line1\nline2\nline3\nline4" | awk '/line2/,/line4/{print $0}'
line2
line3
line4
bash复制代码

2. 操作（Action）

操作可以是AWK的任何有效语句，包括：

• print语句：打印字段或表达式
• printf语句：格式化输出
• 控制语句：if-else、while、for等

# 使用print语句
[root@server ~]# echo -e "apple banana orange" | awk '{print $1, "and", $3}'
apple and orange
# 使用printf语句
[root@server ~]# echo -e "apple banana orange" | awk '{printf "%-10s %-10s %-10s\n", $1, $2, $3}'
apple      banana     orange
# 使用if语句
[root@server ~]# echo -e "10 apple\n20 banana\n15 orange" | awk '{if($1 > 15) print $1 " is greater than 15"}'
20is
 greater than 15
bash复制代码

六、AWK的高级应用

1. BEGIN和END块的使用

BEGIN块在处理任何输入行之前执行，通常用于初始化变量或打印标题；END块在处理完所有输入行之后执行，通常用于打印总结信息。

[root@server ~]# echo -e "10 apple\n20 banana\n15 orange" | awk 'BEGIN{print "水果价格表"; print "----------"} {print $1, $2} END{print "----------"; print "总计: " NR " 种水果"}'
水果价格表
----------
10
 apple
20
 banana
15
 orange
----------
总计: 3 种水果
bash复制代码

2. 数组的使用

AWK支持数组，包括关联数组：

[root@server ~]# echo -e "apple red\nbanana yellow\norange orange" | awk '{color[$2] = color[$2] " " $1} END{for(c in color) print c ":", color[c]}'
red : apple
yellow : banana
orange : orange
bash复制代码

3. 数学运算

AWK支持基本的数学运算：+（加）、-（减）、*（乘）、/（除）、%（取余）、^（乘方）。

[root@server ~]# echo -e "10 20\n30 40" | awk '{print $1+$2, $2*$1}'
30200
701200
bash复制代码

4. 字符串操作

AWK提供了丰富的字符串操作函数：

[root@server ~]# echo -e "hello world" | awk '{print toupper($1), tolower($2)}'
HELLO world
bash复制代码

七、实战案例

1. 统计文件中的单词数量

[root@server ~]# cat words.txt
hello world
this is a test
awk is powerful
[root@server ~]# awk '{for(i=1;i<=NF;i++) count++} END{print "总单词数:", count}' words.txt
总单词数: 9
bash复制代码

2. 计算文件中数字的总和

[root@server ~]# cat numbers.txt
102030
405060
708090
[root@server ~]# awk '{for(i=1;i<=NF;i++) sum+=$i} END{print "总和:", sum}' numbers.txt
总和: 450
bash复制代码

3. 处理CSV文件

假设有一个CSV文件data.csv：

Name,Age,City
Alice,25,New York
Bob,30,Los Angeles
Charlie,35,Chicago
bash复制代码

我们可以使用AWK处理这个CSV文件：

[root@server ~]# awk -F, 'NR>1{print $1 " is " $2 " years old and lives in " $3}' data.csv
Alice is25 years old and lives in New York
Bob is30 years old and lives in Los Angeles
Charlie is35 years old and lives in Chicago
bash复制代码

4. 系统信息监控

[root@server ~]# free -h | awk '/Mem:/{printf "内存使用率: %.2f%%\n", ($3/$2)*100}'
内存使用率: 45.67%
bash复制代码

八、总结

AWK是Linux三剑客中最强大的文本处理工具，它不仅能处理文本，还能进行复杂的编程操作。通过本文的学习，我们了解了AWK的基本语法、常用参数、内置变量、模式和操作，以及一些高级应用。

掌握AWK可以大大提高文本处理和数据处理的效率，特别是在处理结构化数据时，AWK能够简洁高效地完成任务。希望读者能够在实际工作中灵活运用AWK，解决各种文本处理问题。