当前位置:首页>Linux>[TinyLinux-010] 系统调试技巧:从 GDB 到函数调用图

[TinyLinux-010] 系统调试技巧:从 GDB 到函数调用图

  • 2026-09-07 01:18:19
[TinyLinux-010] 系统调试技巧:从 GDB 到函数调用图

[TinyLinux-010] 系统调试技巧:从 GDB 到函数调用图

系列简介:TinyLinux 是由 LabHub 发起的"大道至简"Linux 学习项目。我们通过对内核进行"剔骨"级的物理精简,旨在构建一个 100% 透明、可重现的极简实验室。

公众号:LabHub | 项目仓库:https://gitee.com/lynyujiang/tiny-linux.git


🛠 技术看板

项目
内容
实验目标
掌握内核调试技巧,包括 GDB 调试、ftrace 追踪和代码导航
核心知识点
GDB / QEMU 调试 / ftrace / Cscope / 函数调用图可视化
涉及脚本
scripts/gen_callgraph.sh
、scripts/trace_galaxy.sh
难度等级
🌟🌟🌟🌟 (专家级)
调试工具
GDB 15.x / QEMU 8.x / Cscope / Ftrace
当前状态
ftrace✅ / GDB⚠️ (需重编内核) / Cscope⚠️ (需生成)
内核配置
CONFIG_FTRACE=y
 / CONFIG_FRAME_POINTER=y
可视化
vis-network 函数调用图

1. 知识点详注 (Technical Glossary)

  • **GDB (GNU Debugger)**:GNU 项目开发的源代码级调试器,支持断点、单步执行、变量查看等功能。配合 QEMU 可以调试内核代码。
  • QEMU GDB Stub:QEMU 内置的 GDB 远程调试接口。通过 -s -S 参数启动后,QEMU 在 1234 端口监听 GDB 连接,暂停等待调试器。
  • ftrace:Linux 内核内置的函数追踪框架。可以记录内核函数的调用关系、执行时间等信息,无需重新编译内核。
  • Cscope:C 语言的源代码导航工具。可以查找函数定义、调用者、引用位置等,是内核开发者的必备工具。
  • **函数调用图 (Call Graph)**:可视化展示函数之间调用关系的图形。帮助理解代码执行流程和架构设计。

2. 理论背景 (Deep Theory)

2.1 为什么需要内核调试?

用户空间程序调试相对简单:

# 用户空间调试
gdb ./my_program
(gdb) break main
(gdb) run

但内核调试面临挑战:

挑战
用户空间
内核空间
运行环境
普通进程
特权模式
调试工具
GDB
GDB + QEMU
断点影响
仅暂停进程
暂停整个系统
日志输出
stdout
串口/环形缓冲区
重启成本
低
高(需重启虚拟机)

2.2 内核调试的三种方法

方法一:printk 调试(最常用)

// 在内核代码中添加
printk(KERN_INFO "DEBUG: value = %d\n", value);

// 查看输出
dmesg | tail -20
# 或通过串口输出到主机

优点:简单直接,无需额外工具缺点:需要重新编译,信息有限

方法二:GDB 动态调试

# QEMU 端
qemu-system-x86_64 ... -s -S

# GDB 端
gdb vmlinux
(gdb) target remote :1234
(gdb) break start_kernel
(gdb) continue

优点:可单步执行、查看变量缺点:系统暂停,调试时间长

方法三:ftrace 动态追踪

# 启用 ftrace
mount -t debugfs none /sys/kernel/debug
echo function_graph > /sys/kernel/debug/tracing/current_tracer
echo start_kernel > /sys/kernel/debug/tracing/set_ftrace_filter
echo 1 > /sys/kernel/debug/tracing/tracing_on

# 查看追踪结果
cat /sys/kernel/debug/tracing/trace

优点:无需重新编译,信息详细缺点:需要内核支持,输出量大

2.3 TinyLinux 的调试优势

由于 TinyLinux 极致精简,调试反而更简单:

特性
传统发行版
TinyLinux
内核代码量
数千万行
数十万行
启动时间
30+ 秒
1.4 秒
进程数量
100+
2
日志噪音
大量无关日志
仅核心日志
调试迭代
慢
快

3. 源码与脚本深度走读 (Source Code Dive)

3.1 GDB 调试脚本示例

#!/bin/bash
# debug_kernel.sh - GDB 内核调试脚本

# 1. 启动 QEMU(带 GDB 支持)
qemu-system-x86_64 \
  -m 512 \
  -kernel output/target/bzImage \
  -initrd output/target/rootfs.cpio.xz \
  -nographic \
  -s -S  # -s: 在 1234 端口监听 GDB
# -S: 启动时暂停,等待 GDB 连接

# 2. 在另一个终端连接 GDB
gdb vmlinux
(gdb) target remote :1234
(gdb) break start_kernel
(gdb) continue

3.2 Cscope 代码导航

# 进入内核源码目录
cd linux-6.12.51

# 生成 Cscope 数据库
make cscope

# 常用查询命令
cscope -d -L -1 start_kernel    # 查找函数定义
cscope -d -L -2 start_kernel    # 查找调用者
cscope -d -L -3 start_kernel    # 查找引用位置
cscope -d -L -0 start_kernel    # 查找出现位置

3.3 函数调用图生成脚本:gen_callgraph.sh

#!/bin/bash
###############################################################################
# TinyLinux Call Graph Generator
# 生成可视化的内核函数调用图
###############################################################################

MODE="forward"# forward: 向下追踪 / reverse: 向上追踪
ENTRY_POINT="start_kernel"
MAX_DEPTH=2

# 1. 确保 Cscope 数据库存在
[ -f "cscope.out" ] || make cscope

# 2. 递归追踪函数调用
trace_logic() {
local func=$1
local depth=$2

if [ $depth -ge $MAX_DEPTH ]; thenreturn; fi

# 查询调用者或被调用者
local results
if [ "${MODE}" == "forward" ]; then
        results=$(cscope -d -L -2 "${func}" | awk "{print \$2}" | sort -u)
else
        results=$(cscope -d -L -3 "${func}" | awk "{print \$2}" | sort -u)
fi

# 生成连接关系
for item in$results; do
echo"{ \"from\": \"${func}\", \"to\": \"${item}\" }"
        trace_logic "${item}" $((depth + 1))
done
}

# 3. 生成 HTML 可视化文件
# 使用 vis-network 库渲染交互式图表

3.4 ftrace 追踪脚本:trace_galaxy.sh

#!/bin/bash
###############################################################################
# TinyLinux Trace Galaxy - Ftrace 解析和可视化
###############################################################################

TRACE_LOG=$1
OUTPUT_DIR="output/docs"

# 1. 解析 ftrace 输出(function_graph 格式)
# 示例输入:
# 1)               |  start_kernel() {
# 1)               |    set_task_stack_end_magic();

awk '
    /\(\)\\{/ {
        # 提取函数名和深度
        match($0, /[a-zA-Z0-9_]+\(\)/);
        name = substr($0, RSTART, RLENGTH-2);
        depth = index($0, "|");

        # 记录父子关系
        printf "{ \"from\": \"%s\", \"to\": \"%s\" }\n", parent, name;
        parent = name;
    }
'
"${TRACE_LOG}" > "${OUTPUT_DIR}/trace_links.json"

# 2. 生成动态追踪可视化 HTML
# 亮绿色表示实际执行过的代码路径

3.5 常用调试命令速查

# GDB 常用命令
(gdb) target remote :1234          # 连接 QEMU
(gdb) break start_kernel           # 设置断点
(gdb) info breakpoints             # 查看断点
(gdb) continue# 继续执行
(gdb) next                         # 单步执行(不进入函数)
(gdb) step                         # 单步执行(进入函数)
(gdb) print variable               # 查看变量值
(gdb) backtrace                    # 查看调用栈
(gdb) info registers               # 查看寄存器

# ftrace 常用命令
echo function_graph > current_tracer           # 设置追踪器
echo start_kernel > set_ftrace_filter          # 设置过滤
echo 1 > tracing_on                            # 开始追踪
echo 0 > tracing_on                            # 停止追踪
cat trace                                      # 查看结果

4. 配置详解 (Config & Engineering)

4.1 内核调试配置

配置项
当前值
建议值
说明
CONFIG_DEBUG_INFO
n
y
生成调试信息(DWARF)⚠️
CONFIG_GDB_SCRIPTS
n
y
启用 GDB 脚本支持 ⚠️
CONFIG_FRAME_POINTER
y
y
保留帧指针(便于回溯)✅
CONFIG_FUNCTION_TRACER
y
y
启用 ftrace ✅
CONFIG_FTRACE
y
y
函数追踪器 ✅
CONFIG_DYNAMIC_FTRACE
y
y
动态 ftrace ✅

⚠️ 注意:当前 TinyLinux 内核未启用 CONFIG_DEBUG_INFO,GDB 调试仅能查看汇编和寄存器,无法进行源码级调试。如需源码调试,需重新编译内核。

4.1.1 启用调试信息(可选)

cd /home/devhub/xlabs/tiny-linux/linux-6.12.51

# 打开内核配置
make menuconfig

# 导航路径:
# Kernel hacking --->
#   Compile-time checks and compiler options --->
#     [*] Compile the kernel with debug info

# 或者手动编辑 .config
echo"CONFIG_DEBUG_INFO=y" >> .config
echo"CONFIG_GDB_SCRIPTS=y" >> .config

# 重新编译内核
cd ..
./scripts/build_kernel.sh

4.2 QEMU 调试参数

参数
说明
示例
-s
在 1234 端口监听 GDB
-s
-S
启动时暂停
-S
-d
启用调试日志
-d int,cpu_reset
-D
调试日志文件
-D qemu.log
-no-reboot
崩溃不重启
-no-reboot

4.3 调试环境搭建

# 1. 安装 GDB(已安装)
which gdb
# 输出:/usr/bin/gdb

# 2. 生成 Cscope 数据库(必需)
cd linux-6.12.51
make cscope
# 输出:生成 cscope.out tags 文件

# 3. 验证 ftrace 支持(已启用)
grep "CONFIG_FUNCTION_TRACER" linux-6.12.51/.config
# 输出:CONFIG_FUNCTION_TRACER=y

# 4. 启动 QEMU(带 GDB 支持)
# 注意:当前内核无调试符号,GDB 仅能查看汇编
qemu-system-x86_64 -m 512 \
  -kernel output/target/bzImage \
  -initrd output/target/rootfs.cpio.xz \
  -nographic -s -S

# 5. 连接 GDB
gdb linux-6.12.51/vmlinux
(gdb) target remote :1234

⚠️ 重要说明:

  • ftrace:✅ 已启用,可在 TinyLinux 内部使用
  • Cscope:⚠️ 需手动生成(运行 make cscope)
  • GDB 源码调试:⚠️ 需重新编译内核(启用 CONFIG_DEBUG_INFO)
  • GDB 汇编调试:✅ 当前即可使用(查看寄存器、内存)

4.4 函数调用图颜色说明

颜色
子系统
说明
🔴 #FF7043
init
初始化代码
🔵 #42A5F5
kernel
内核核心
🟢 #66BB6A
mm
内存管理
🟣 #AB47BC
fs
文件系统
🟡 #FFEE58
drivers
驱动程序
⚪ #78909C
arch
架构相关
🔷 #26A69A
ipc
进程间通信

5. 工程实验步骤 (Lab Steps)

5.1 使用 GDB 调试内核启动

# 终端 1: 启动 QEMU
cd /home/devhub/xlabs/tiny-linux
source env.sh

qemu-system-x86_64 \
  -m 512 \
  -kernel output/target/bzImage \
  -initrd output/target/rootfs.cpio.xz \
  -nographic -s -S

# 终端 2: 连接 GDB
gdb linux-6.12.51/vmlinux

(gdb) target remote :1234
(gdb) break start_kernel
Breakpoint 1 at 0xffffffff81000000: file init/main.c, line 1234.
(gdb) continue
Continuing.

# QEMU 端会停在 start_kernel 入口处

(gdb) next          # 单步执行
(gdb) print jiffies # 查看变量
$1 = 4294943616
(gdb) backtrace     # 查看调用栈
#0  start_kernel () at init/main.c:1234
#1  0x0000000000000000 in ?? ()

5.2 生成函数调用图

cd /home/devhub/xlabs/tiny-linux

# 正向追踪(从 start_kernel 向下)
./scripts/gen_callgraph.sh start_kernel 2

# 反向追踪(查找谁调用了某个函数)
./scripts/gen_callgraph.sh --reverse do_initcalls 2

# 生成的 HTML 文件位于
ls output/docs/*_galaxy.html

# 使用浏览器打开(需要 VS Code 支持 vscode:// 协议)
xdg-open output/docs/start_kernel_galaxy.html

5.3 使用 ftrace 追踪内核执行

# 在 TinyLinux 内部执行(需要内核支持)
mount -t debugfs none /sys/kernel/debug

# 设置追踪器
echo function_graph > /sys/kernel/debug/tracing/current_tracer

# 设置要追踪的函数
echo start_kernel > /sys/kernel/debug/tracing/set_ftrace_filter

# 开始追踪
echo 1 > /sys/kernel/debug/tracing/tracing_on

# 重启系统后查看追踪结果
cat /sys/kernel/debug/tracing/trace > trace.log

# 在主机上分析
./scripts/trace_galaxy.sh trace.log

5.4 Cscope 代码导航实战

cd linux-6.12.51

# 查找函数定义
cscope -d -L -1 start_kernel
# 输出:init/main.c start_kernel 1234

# 查找调用者
cscope -d -L -2 start_kernel
# 输出:列出所有调用 start_kernel 的位置

# 查找引用
cscope -d -L -3 jiffies
# 输出:列出所有使用 jiffies 的位置

# 使用 tags 文件(更快)
grep "^start_kernel" tags
# 输出:start_kernel init/main.c /^void __init start_kernel(void)$/;" f

5.5 调试常见问题排查

# 问题 1: GDB 连接失败
# 解决:确认 QEMU 已启动且带有 -s -S 参数
netstat -tlnp | grep 1234

# 问题 2: 断点无法命中
# 解决:确认内核带调试信息编译
readelf -S vmlinux | grep debug

# 问题 3: Cscope 找不到符号
# 解决:重新生成数据库
make cscope

# 问题 4: ftrace 不可用
# 解决:检查内核配置
grep CONFIG_FUNCTION_TRACER .config

5.2 观察点 (Observation Points)

GDB 调试时关注:

✅ 断点命中时的寄存器状态
✅ 关键变量的值(如 jiffies、task_struct)
✅ 调用栈的完整性
✅ 内存布局(通过 info proc mappings)

函数调用图关注:

✅ 中心节点(被最多函数调用的)
✅ 叶子节点(不调用其他函数的)
✅ 跨子系统调用(不同颜色的连接)
✅ 循环调用(A→B→A)

ftrace 输出关注:

✅ 函数执行时间(带时间戳)
✅ 调用深度(缩进级别)
✅ 异常返回(带错误码)
✅ 中断上下文(带中断号)

5.3 避坑指南

现象
原因
解决方案
GDB 连接超时
QEMU 未启动或端口被占用
检查 QEMU 进程和端口
断点位置偏移
内核地址随机化
禁用 KASLR 或使用物理地址
变量优化丢失
编译器优化
使用 -O0 编译
ftrace 输出为空
追踪器未启用
检查 tracing_on 状态
调用图节点过多
追踪深度太大
限制 MAX_DEPTH=2-3

6. 验证与重现

6.1 GDB 调试验证

# 启动 QEMU + GDB
qemu-system-x86_64 -m 512 -kernel output/target/bzImage \
  -initrd output/target/rootfs.cpio.xz -nographic -s -S &

# 连接 GDB
gdb linux-6.12.51/vmlinux << 'EOF'
target remote :1234
break start_kernel
continue
print"TinyLinux GDB Test Success!"
quit
EOF

6.2 函数调用图验证

# 生成调用图
./scripts/gen_callgraph.sh start_kernel 2

# 检查输出文件
ls -lh output/docs/start_kernel_galaxy.html
# 预期:文件存在且大小 > 10KB

# 验证 HTML 内容
grep "vis-network" output/docs/start_kernel_galaxy.html
# 预期:包含 vis-network 库引用

6.3 Cscope 验证

cd linux-6.12.51

# 确保数据库存在
ls -lh cscope.out tags
# 预期:两个文件都存在

# 测试查询
cscope -d -L -1 start_kernel | head -3
# 预期:显示函数定义位置

6.4 对应提交

项目
信息
对应提交
9e35606c4
 (refactor: separate configuration from build scripts)
检出命令
git checkout 9e35606c4
重现步骤
source env.sh && ./scripts/gen_callgraph.sh start_kernel 2
预期输出
output/docs/start_kernel_galaxy.html

⚠️ 注意:Git 提交信息请执行 git log --oneline -5 获取最新提交。


7. 总结与延伸

7.1 本章收获

通过本章,我们掌握了内核调试的核心技能:

  • ✅ 理解了 GDB + QEMU 联合调试的原理和方法
  • ✅ 学会了使用 Cscope 进行代码导航
  • ✅ 掌握了 ftrace 动态追踪技术
  • ✅ 能够生成和解读函数调用图
  • ✅ 能够独立排查调试环境问题

7.2 思考题

  1. 如何在 GDB 中查看和修改内核内存?
  2. ftrace 的 function 和 function_graph 追踪器有什么区别?
  3. 如何调试内核模块(LKM)?
  4. 如何实现远程网络调试(kgdb)?

7.3 调试工具总结

工具
用途
学习曲线
推荐度
printk
简单日志
⭐
⭐⭐⭐⭐⭐
GDB + QEMU
动态调试
⭐⭐⭐⭐
⭐⭐⭐⭐
ftrace
函数追踪
⭐⭐⭐
⭐⭐⭐⭐⭐
Cscope
代码导航
⭐⭐
⭐⭐⭐⭐⭐
调用图
可视化分析
⭐⭐⭐
⭐⭐⭐⭐

7.4 下一章预告

在 [TinyLinux-011] 中,我们将探索性能优化技巧,包括内核编译优化、启动时间优化和内存占用优化。敬请期待!


🌟 互动与支持

如果你觉得这个项目对理解 Linux 底层有帮助,请不要吝啬你的支持:

  • 点赞 & 在看:点击右下角,让更多极客看到这个"活的代码教科书"。
  • 关注 LabHub:第一时间获取 TinyLinux 的最新"手术"报告。
  • Star 项目:点击 Gitee 仓库地址 给我们一个五星好评!

本文由 LabHub 团队原创,转载请注明出处。


项目地址:https://gitee.com/lynyujiang/tiny-linux.git

最新文章

随机文章