linux 处理csv一些操作

将CSV中制表符转成逗号

当csv原始数据为 制表符分隔时， 对Excel、pandas处理不友好，可直接使用 tr 或 sed 进行转换。

# 使用 tr，将制表符替换为逗号tr'\t'',' < input.tsv > step1.csv

特点：

• • 逐行流式处理，适合 2GB+ 文件
• • 不依赖额外工具
• • 适合字段中不包含逗号的场景，有的话使用 csvkit进行转义

按固定行数拆分 CSV 保留表头

为了方便并行处理、上传 HDFS、导入数据库，常需要将 CSV 按行数拆分。以下示例：每 1,000,000 行一个文件，且每个文件都包含表头。

awk 'NR==1 {h=$0; next}{  f = int((NR-2)/1000000)  if ((NR-2)%1000000 == 0) {    name = sprintf("part_%03d.csv", f)    print h > name  }  print >> name}' step1.csv

输出示例：

part_000.csvpart_001.csvpart_002.csv

常用 CSV 操作命令

查看前几行（含表头）

head -n 5 part_000.csv

统计行数

wc -l part_000.csv

按列查看

cut -d',' -f3 part_000.csv | head

简单过滤（第 2 列等于 xxx）

awk -F',' '$2=="xxx"' part_000.csv

建议

• • 文件过大：优先拆分，再使用pandas、excel工具处理
• • 分析场景：避免 Excel 直接打开原始大文件
• • 自动化：可以将以上命令写入 shell 脚本或 pipeline