线上卡死、无日志、慢响应？别再瞎猜了

一、核心工具原理：搞懂底层逻辑，才不会用错

1. pstack与gstack：孪生兄弟，线程堆栈快照工具

2. strace：系统调用跟踪神器，进程与内核的“翻译官”

3. ltrace：库函数调用跟踪，用户态逻辑“透视镜”

二、使用原则+应用场景：对症下药，不瞎用不滥用

通用使用原则

• 权限优先：跟踪进程需属主权限或 root 权限，普通用户无法跟踪 root 启动的进程
• 线上慎用长跟踪：strace/ltrace 会轻微消耗性能，高频调用场景建议短时间采样、过滤输出
• 先采样后深挖：先用 pstack 定位卡死线程，再用 strace/ltrace 针对性跟踪，避免输出泛滥
• 保留调试符号：程序未 strip 时，堆栈和调用信息更完整，排查效率翻倍

分工具适用场景

✅ pstack/gstack适用场景

• 进程僵死、无响应、CPU 持续 100%
• 线程死锁、线程阻塞、函数死循环
• 快速查看进程所有线程状态、调用栈
• 无日志、无core文件时的应急快照

✅ strace适用场景

• 文件打开失败、权限报错（Permission denied）
• 网络连接超时、端口不通、数据收发异常
• 系统IO阻塞、磁盘读写慢、句柄泄漏
• 进程收到异常信号导致崩溃
• 第三方二进制程序无日志排查

✅ ltrace适用场景

• 库函数调用异常、返回值不符合预期
• 内存分配/释放不匹配（malloc/free）
• 动态库依赖缺失、函数未找到
• 参数传递错误、字符串处理异常
• 用户态逻辑耗时过长定位

三、案例实战：线上高频故障，一步一操作

前置准备

实战1：pstack定位线程死锁/僵死

• 查看线程状态：Thread X blocked说明线程阻塞
• 定位堆栈最后一行：找到阻塞的函数（如 pthread_mutex_lock、wait、sleep）
• 多线程堆栈对比：快速锁定死锁线程组

实战2：strace排查文件权限/网络阻塞

• open("/etc/config.conf", O_RDONLY) = -1 EACCES：权限不足
• connect(3, {AF_INET, port=8080}, 16) = -1 ETIMEDOUT：连接超时

实战3：ltrace定位库函数调用异常

实战4：组合排障（终极流程）

1. pstack 定位卡死线程和函数
2. strace 跟踪该线程对应的系统调用，确认内核层阻塞
3. ltrace 深挖用户态库函数调用，定位根因

四、总结：用好这四件套，线上排障快人一步

核心价值复盘

• pstack/gstack：静态快照，快准狠定位线程阻塞、死锁，应急首选
• strace：系统调用透视，解决底层IO、网络、权限类疑难杂症
• ltrace：库函数跟踪，补齐用户态逻辑排查短板

排查心法