当前位置:首页>Linux>Linux awk 命令:文本处理的瑞士军刀

Linux awk 命令:文本处理的瑞士军刀

  • 2026-10-11 07:52:51
Linux awk 命令:文本处理的瑞士军刀

awk 是 Linux 下最强大的文本处理工具之一,名字取自三位创始人 Aho、Weinberger、Kernighan 的姓氏首字母。很多人只用它做简单的列提取,其实 awk 的能力远不止于此。

awk 的核心模型

awk 的工作流程可以概括为:

awk 'pattern { action }' file
  • pattern
    :匹配条件(正则、表达式、范围)
  • action
    :执行的操作(打印、计算、变量赋值)

对于每一行,awk 会:

  1. 自动按分隔符分割字段(默认空格)
  2. 字段存入 $1, $2, $3...,整行是 $0
  3. 检查 pattern,匹配则执行 action
# 提取第一列和第三列awk '{ print $1, $3 }' data.txt# 只处理包含 "error" 的行awk '/error/ { print 1, 1 }' data.txt# 多字符分隔符awk -F'|' '{ print 1, 0NF 的妙用:引用最后一个字段# 打印每行的最后一个字段awk '{ print (NF-1) }' data.txt条件判断与循环awk 支持 if-else 和 for/while 循环:# 按条件过滤并标记awk '{  if (1, "HIGH"  } else {    print i  }  print sum}' numbers.txt数组与统计awk 的数组是关联数组(associative array),键可以是任意字符串:# 统计每个单词出现次数awk '{  for (i = 1; i <= NF; i++) {    count[9]++ } END { for (code in count) print code, count[code] }' access.log这段代码中 1 }' access.log | sort | uniq -c | sort -rn | head -10整行内容$1~$n第 n 个字段NF当前行字段数(Number of Fields)NR当前行号(全局)FNR当前行号(当前文件)FS字段分隔符OFS输出字段分隔符RS行分隔符ORS输出行分隔符

纯 awk 实现:

awk '{  ip[NF  count++}END {  print "Average:", total/count, "ms"}' access.log

3. 提取 4xx 和 5xx 错误

# 提取所有 4xx 和 5xx 状态码的请求awk '/ { print 9 ~ /^[45][0-9][0-9]9]++}END {  for (code in errors) print code, errors[code]}' access.log

~ 是正则匹配操作符,1 }' config.conf

跳过注释行(以 # 开头)。

2. 只处理前 N 行

awk 'NR > 100 { exit } { print 0 }' file1.txt file2.txt

复杂案例:计算移动平均

假设有一个温度数据文件,每行一个温度值,计算 3 点移动平均:

awk '{  values[NR] = 1]++ } END { for (h in count) print h, count[h] }'

小结

awk 的强大在于:

  1. 自动字段分割,省去手动 split
  2. 完整的编程语言(变量、数组、函数、循环)
  3. 内置的模式匹配机制

掌握 awk,处理文本文件就像用 SQL 查询数据库一样高效。复杂的统计、格式化、转换任务,一行 awk 命令就能搞定。


相关工具:Linux sed 命令 | 文本去重工具 | Grep 命令详解

最新文章

随机文章