当前位置:首页>Linux>Linux 网络子系统源码剖析(七):TCP 协议实现(上)- 连接管理

Linux 网络子系统源码剖析(七):TCP 协议实现(上)- 连接管理

  • 2026-09-26 11:29:34
Linux 网络子系统源码剖析(七):TCP 协议实现(上)- 连接管理

从三次握手到连接关闭 - 揭秘 TCP 连接的生命周期

系列:Linux 网络子系统源码剖析篇号:第 7 篇 内核版本:Linux 5.10 LTS重点模块:TCP 状态机、三次握手、四次挥手、连接管理


📋 本篇导读

你将学到

  • TCP 状态机的完整实现

  • 三次握手的详细流程

  • 四次挥手的实现原理

  • TCP 连接管理(tcp_hashinfo)

  • 半连接队列与全连接队列

  • SYN Cookie 防护机制

  • TIME_WAIT 状态的处理

  • TCP 定时器机制

前置知识

  • 已阅读第 1-6 篇文章

  • 了解 TCP 协议基础

  • 理解 socket 编程

  • 熟悉状态机概念

阅读时间

约 80-90 分钟


🎯 TCP 在网络子系统中的位置

协议栈分层

TCP 的核心职责


📊 TCP 状态机

11 种 TCP 状态

特殊状态:
• CLOSING:同时关闭(双方同时发送 FIN)

TCP 状态定义

源码位置:include/net/tcp_states.h

/**
* TCP 状态枚举
*/
enum {
TCP_ESTABLISHED=1,    /* 已建立连接 */
TCP_SYN_SENT,          /* 已发送 SYN,等待 SYN+ACK */
TCP_SYN_RECV,          /* 已收到 SYN,已发送 SYN+ACK */
TCP_FIN_WAIT1,         /* 已发送 FIN,等待 ACK */
TCP_FIN_WAIT2,         /* 已收到 FIN 的 ACK,等待对方 FIN */
TCP_TIME_WAIT,         /* 等待足够时间确保对方收到 ACK */
TCP_CLOSE,             /* 关闭状态 */
TCP_CLOSE_WAIT,        /* 已收到 FIN,等待应用关闭 */
TCP_LAST_ACK,          /* 已发送 FIN,等待最后的 ACK */
TCP_LISTEN,            /* 监听状态 */
TCP_CLOSING,           /* 同时关闭,等待 ACK */
TCP_NEW_SYN_RECV,      /* 新的 SYN 请求(SYN Cookie)*/
TCP_MAX_STATES/* 状态总数 */
};
/**
* 状态名称(用于调试)
*/
static const char *const tcp_state_names[] = {
    [TCP_ESTABLISHED] ="ESTABLISHED",
    [TCP_SYN_SENT]    ="SYN_SENT",
    [TCP_SYN_RECV]    ="SYN_RECV",
    [TCP_FIN_WAIT1]   ="FIN_WAIT1",
    [TCP_FIN_WAIT2]   ="FIN_WAIT2",
    [TCP_TIME_WAIT]   ="TIME_WAIT",
    [TCP_CLOSE]       ="CLOSE",
    [TCP_CLOSE_WAIT]  ="CLOSE_WAIT",
    [TCP_LAST_ACK]    ="LAST_ACK",
    [TCP_LISTEN]      ="LISTEN",
    [TCP_CLOSING]     ="CLOSING",
    [TCP_NEW_SYN_RECV] ="NEW_SYN_RECV",
};
/**
* tcp_set_state - 设置 TCP 状态
* @sk: socket
* @state: 新状态
* 
* 改变 TCP 连接的状态
*/

🤝 三次握手

三次握手流程

关键点:
• SYN:同步序列号
• seq:序列号(随机生成)
• ack:确认号(对方 seq + 1)
• 三次握手确保双方都能收发数据

客户端:connect() 实现

源码位置:net/ipv4/tcp_ipv4.c

/**
* tcp_v4_connect - TCP 客户端连接
* @sk: socket
* @uaddr: 目标地址
* @addr_len: 地址长度
* 
* 实现 connect() 系统调用
* 发起三次握手
*/

服务器端:listen() 和 accept()

/**
* inet_listen - 监听连接
* @sk: socket
* @backlog: 队列长度
* 
* 实现 listen() 系统调用
* 将 socket 设置为监听状态
*/
/**
* inet_csk_listen_start - 开始监听
* @sk: socket
* @backlog: 队列长度
*/

服务器端:处理 SYN

/**
* tcp_v4_rcv - TCP 接收入口
* @skb: 接收到的数据包
* 
* 所有 TCP 包都从这里进入
*/
/**
* tcp_v4_do_rcv - 处理接收到的 TCP 包
* @sk: socket
* @skb: 数据包
* 
* 根据 socket 状态处理数据包
*/
/**
* tcp_conn_request - 处理连接请求(SYN)
* @req_prot: request_sock 操作
* @af_ops: 地址族操作
* @sk: 监听 socket
* @skb: SYN 包
* 
* 创建 request_sock,加入半连接队列
*/

代码解析:

  1. SYN Cookie 检查:如果半连接队列满了,启用 SYN Cookie 机制

  2. 全连接队列检查:如果全连接队列满了,丢弃 SYN

  3. 分配 request_sock:为新连接请求分配内存

  4. 解析 TCP 选项:解析 MSS、窗口缩放、时间戳等选项

  5. 生成 ISN:生成初始序列号

  6. 发送 SYN+ACK:回复客户端

流程图:

收到 SYN 包
    |
    v
检查 SYN Cookie
    |
    v
检查全连接队列
    |
    v
分配 request_sock
    |
    v
解析 TCP 选项
    |
    v
生成 ISN
    |
    v
发送 SYN+ACK
    |
    v
加入半连接队列

5.3.4 完成三次握手(收到 ACK)

服务器收到客户端的 ACK 后,完成三次握手,创建完整的 socket。

源码位置:net/ipv4/tcp_ipv4.c

/**
* tcp_check_req - 检查 request_sock 的 ACK
* @sk: 监听 socket
* @skb: ACK 包
* @req: request_sock
* 
* 收到第三次握手的 ACK,创建完整的 socket
*/

代码解析:

  1. 检查 ACK 标志:确认是第三次握手的 ACK

  2. 检查序列号:验证 ACK 序列号是否正确

  3. 创建完整 socket:调用 syn_recv_sock() 创建新的 socket

  4. 从半连接队列移除:将 request_sock 从半连接队列移除

  5. 加入全连接队列:将新 socket 加入全连接队列,等待 accept()

三次握手完整流程图:

5.4 SYN Cookie 机制

SYN Cookie 是一种防御 SYN Flood 攻击的机制,在半连接队列满时不分配 request_sock,而是将连接信息编码到 ISN 中。

5.4.1 SYN Cookie 原理

核心思想:

  1. 收到 SYN 时,不分配 request_sock

  2. 将连接信息(IP、端口、MSS 等)编码到 ISN 中

  3. 发送 SYN+ACK

  4. 收到 ACK 时,从 ACK 序列号中解码连接信息

  5. 创建完整的 socket

源码位置:net/ipv4/syncookies.c

/**
* __cookie_v4_init_sequence - 生成 SYN Cookie
* @saddr: 源 IP
* @daddr: 目的 IP
* @sport: 源端口
* @dport: 目的端口
* @seq: 客户端序列号
* @mss: MSS 值
* 
* 将连接信息编码到 32 位 ISN 中
*/

5.4.2 SYN Cookie 验证

收到 ACK 时,验证 Cookie 并恢复连接信息。

/**
* cookie_v4_check - 验证 SYN Cookie
* @sk: 监听 socket
* @skb: ACK 包
* 
* 从 ACK 序列号中解码连接信息
*/
/**
* __cookie_v4_check - 验证 Cookie 哈希
*/

SYN Cookie 流程图:

SYN Cookie 的优缺点:

优点:

  • 防御 SYN Flood 攻击

  • 不占用内存(不分配 request_sock)

  • 无状态,可处理大量 SYN

缺点:

  • 丢失 TCP 选项信息(只能保存 MSS)

  • 无法使用窗口缩放、SACK 等高级特性

  • 增加 CPU 开销(哈希计算)

6. 连接终止(四次挥手)

TCP 连接终止使用四次挥手过程,任何一方都可以主动关闭连接。

6.1 四次挥手状态转换

状态转换图:

状态说明:

  1. FIN_WAIT_1:主动关闭方发送 FIN,等待 ACK

  2. FIN_WAIT_2:收到 ACK,等待对方的 FIN

  3. CLOSE_WAIT:被动关闭方收到 FIN,等待应用层调用 close()

  4. LAST_ACK:被动关闭方发送 FIN,等待 ACK

  5. TIME_WAIT:主动关闭方收到 FIN,等待 2MSL

  6. CLOSED:连接完全关闭

6.2 主动关闭(close 系统调用)

应用程序调用 close() 或 shutdown() 主动关闭连接。

源码位置:net/ipv4/tcp.c

/**
* tcp_close - 关闭 TCP 连接
* @sk: socket
* @timeout: 超时时间
* 
* 主动关闭连接,发送 FIN
*/
/**
* tcp_send_fin - 发送 FIN 包
* @sk: socket
* 
* 构造并发送 FIN 包
*/

6.3 接收 FIN 处理

收到对方的 FIN 包,进入被动关闭流程。

源码位置:net/ipv4/tcp_input.c

/**
* tcp_fin - 处理接收到的 FIN
* @sk: socket
* 
* 收到 FIN,更新状态
*/

四次挥手完整流程:

6.4 TIME_WAIT 状态处理

TIME_WAIT 是 TCP 连接终止过程中最重要的状态,主动关闭方必须等待 2MSL(Maximum Segment Lifetime)时间。

6.4.1 TIME_WAIT 的作用

为什么需要 TIME_WAIT:

  1. 确保最后的 ACK 到达:如果最后的 ACK 丢失,被动关闭方会重传 FIN,TIME_WAIT 状态可以重新发送 ACK

  2. 防止旧连接的数据包干扰新连接:等待网络中的旧数据包消失(2MSL)

  3. 可靠地终止连接:确保双方都正确关闭

2MSL 时间:

  • MSL(Maximum Segment Lifetime):数据包在网络中的最大生存时间

  • Linux 默认:60 秒(可通过 tcp_fin_timeout 调整)

  • 2MSL = 120 秒

6.4.2 TIME_WAIT 实现

源码位置:net/ipv4/tcp_minisocks.c

/**
* tcp_time_wait - 进入 TIME_WAIT 状态
* @sk: socket
* @state: 目标状态(TCP_TIME_WAIT 或 TCP_FIN_WAIT2)
* @timeo: 超时时间
* 
* 创建 tcp_timewait_sock,释放原 socket
*/
/**
* struct inet_timewait_sock - TIME_WAIT socket 结构
* 
* 轻量级 socket,只保存必要信息
*/
struct inet_timewait_sock {
struct sock_common__tw_common;
/* 地址信息 */
__be32tw_rcv_saddr;
__be32tw_daddr;
__u16tw_num;
__be16tw_dport;
/* 状态信息 */
__u8tw_substate;
__u8tw_rcv_wscale;
/* 定时器 */
unsigned longtw_timer;
/* 序列号 */
__u32tw_rcv_nxt;
__u32tw_snd_nxt;
};

6.4.3 TIME_WAIT 定时器

/**
* inet_twsk_schedule - 调度 TIME_WAIT 定时器
* @tw: timewait socket
* @timeo: 超时时间
* 
* 设置 TIME_WAIT 超时
*/
/**
* tcp_timewait_state_process - 处理 TIME_WAIT 状态的数据包
* @tw: timewait socket
* @skb: 数据包
* @th: TCP 头
* 
* TIME_WAIT 状态收到数据包的处理
*/

TIME_WAIT 状态处理流程:

6.4.4 TIME_WAIT 优化

大量 TIME_WAIT 连接会占用端口和内存,Linux 提供了多种优化机制。

优化参数:

# 1. 缩短 TIME_WAIT 时间(默认 60 秒)
net.ipv4.tcp_fin_timeout =30
# 2. 允许 TIME_WAIT socket 复用(用于客户端)
net.ipv4.tcp_tw_reuse =1
# 3. 快速回收 TIME_WAIT socket(不推荐)
net.ipv4.tcp_tw_recycle =0# 已废弃
# 4. TIME_WAIT socket 最大数量
net.ipv4.tcp_max_tw_buckets =5000

TIME_WAIT 复用机制:

/**
* tcp_twsk_unique - 检查是否可以复用 TIME_WAIT socket
* @sk: 新连接的 socket
* @tw: TIME_WAIT socket
* 
* 条件:
* 1. 启用 tcp_tw_reuse
* 2. 新连接的时间戳大于旧连接
* 3. TIME_WAIT 已经超过 1 秒
*/

7. 连接管理数据结构

TCP 使用哈希表管理所有连接,实现快速查找。

7.1 tcp_hashinfo 结构

源码位置:include/net/inet_hashtables.h

哈希表结构图:

7.2 连接查找

源码位置:net/ipv4/inet_hashtables.c

/**
* __inet_lookup_established - 查找 ESTABLISHED 连接
* @hashinfo: 哈希表
* @saddr: 源 IP
* @sport: 源端口
* @daddr: 目的 IP
* @dport: 目的端口
* @dif: 网络接口索引
* 
* 根据四元组查找连接
*/

7.3 连接队列管理

服务器端维护两个队列:半连接队列和全连接队列。

7.3.1 半连接队列(SYN Queue)

源码位置:include/net/inet_connection_sock.h

7.3.2 全连接队列(Accept Queue)

/**
* inet_csk_reqsk_queue_add - 将新连接加入全连接队列
* @sk: 监听 socket
* @req: request_sock
* @child: 新创建的 socket
* 
* 三次握手完成后,将新连接加入全连接队列
*/
/**
* inet_csk_accept - 从全连接队列取出连接
* @sk: 监听 socket
* 
* accept() 系统调用的实现
*/

连接队列示意图:

7.3.3 队列溢出处理

队列大小配置:

# 半连接队列大小(每个监听 socket)
# 实际大小 = min(backlog, net.core.somaxconn, net.ipv4.tcp_max_syn_backlog)
net.ipv4.tcp_max_syn_backlog =2048
# 全连接队列大小(listen 系统调用的 backlog 参数)
net.core.somaxconn =1024
# 全连接队列满时的行为
# 0: 丢弃连接(默认)
# 1: 发送 RST
net.ipv4.tcp_abort_on_overflow =0

8. TCP 定时器

TCP 使用多个定时器管理连接状态和数据传输。

8.1 定时器类型

源码位置:include/net/inet_connection_sock.h

8.2 重传定时器

用于检测数据包丢失并触发重传。

/**
* tcp_retransmit_timer - 重传定时器处理
* @sk: socket
* 
* 超时后重传数据
*/

8.3 Keepalive 定时器

用于检测空闲连接是否仍然有效。

/**
* tcp_keepalive_timer - Keepalive 定时器处理
* @sk: socket
* 
* 发送 Keepalive 探测包
*/

Keepalive 配置参数:

# Keepalive 空闲时间(秒)
net.ipv4.tcp_keepalive_time =7200
# Keepalive 探测间隔(秒)
net.ipv4.tcp_keepalive_intvl =75
# Keepalive 探测次数
net.ipv4.tcp_keepalive_probes =9

9. 实战案例

9.1 案例 1:排查 SYN Flood 攻击

问题现象:

  • 服务器无法建立新连接

  • netstat 显示大量 SYN_RECV 状态

排查步骤:

# 1. 查看半连接队列状态
netstat -antp | grep SYN_RECV | wc-l
# 2. 查看 SYN Cookie 统计
netstat -s | grep-i cookie
# SYNs to LISTEN sockets dropped: 1234
# SYN cookies sent: 5678
# SYN cookies received: 4321
# 3. 查看内核日志
dmesg | grep"TCP: drop open request"
# 4. 查看当前配置
sysctl net.ipv4.tcp_syncookies
sysctl net.ipv4.tcp_max_syn_backlog

解决方案:

# 1. 启用 SYN Cookie
sysctl -w net.ipv4.tcp_syncookies=1
# 2. 增加半连接队列大小
sysctl -w net.ipv4.tcp_max_syn_backlog=8192
# 3. 缩短 SYN_RECV 超时时间
sysctl -w net.ipv4.tcp_synack_retries=1
# 4. 使用 iptables 限制 SYN 速率
iptables -A INPUT -p tcp --syn-m limit --limit10/s -j ACCEPT
iptables -A INPUT -p tcp --syn-j DROP

9.2 案例 2:优化 TIME_WAIT 连接

问题现象:

  • 大量 TIME_WAIT 连接

  • 客户端无法建立新连接(端口耗尽)

排查步骤:

解决方案:

# 1. 启用 TIME_WAIT 复用(客户端)
sysctl -w net.ipv4.tcp_tw_reuse=1
# 2. 缩短 FIN_WAIT2 超时时间
sysctl -w net.ipv4.tcp_fin_timeout=30
# 3. 限制 TIME_WAIT 连接数
sysctl -w net.ipv4.tcp_max_tw_buckets=10000
# 4. 扩大本地端口范围
sysctl -w net.ipv4.ip_local_port_range="10000 65000"
# 5. 应用层优化:使用连接池
# 避免频繁创建和关闭连接

9.3 案例 3:全连接队列溢出

问题现象:

  • 客户端连接超时

  • 服务器日志显示 "connection refused"

排查步骤:

解决方案:

# 1. 增加全连接队列大小
sysctl -w net.core.somaxconn=2048
# 2. 应用程序修改 listen backlog
# C 代码:
# listen(sockfd, 2048);  // 增加 backlog
# 3. 加快 accept() 处理速度
# - 使用多线程/多进程处理连接
# - 使用 epoll 等高效 I/O 模型
# - 优化业务逻辑,减少处理时间
# 4. 监控队列状态
watch -n1'ss -lnt | grep :80'

10. 性能优化技巧

10.1 连接建立优化

1. TCP Fast Open (TFO)

允许在 SYN 包中携带数据,减少一次 RTT。

# 启用 TCP Fast Open
# 1: 客户端
# 2: 服务器
# 3: 客户端和服务器
sysctl -w net.ipv4.tcp_fastopen=3

2. 调整初始拥塞窗口

# 增加初始拥塞窗口(默认 10)
ip route change default via 192.168.1.1 initcwnd 10 initrwnd 10

3. 优化 SYN 重传

# 减少 SYN 重传次数(默认 6 次)
sysctl -w net.ipv4.tcp_syn_retries=3
sysctl -w net.ipv4.tcp_synack_retries=3

10.2 连接管理优化

1. 哈希表大小调整

/* 在内核编译时调整 */
/* net/ipv4/tcp.c */
/* ESTABLISHED 哈希表大小 */
tcp_hashinfo.ehash_mask= (1<<20) -1;  /* 1M 个桶 */
/* LISTEN 哈希表大小 */
tcp_hashinfo.lhash2_mask= (1<<10) -1;  /* 1K 个桶 */

2. 使用 SO_REUSEPORT

允许多个进程监听同一端口,内核负载均衡。

10.3 内存优化

1. 调整 socket 缓冲区

# TCP 接收缓冲区(最小、默认、最大)
sysctl -w net.ipv4.tcp_rmem="4096 87380 6291456"
# TCP 发送缓冲区(最小、默认、最大)
sysctl -w net.ipv4.tcp_wmem="4096 16384 4194304"
# 总内存限制
sysctl -w net.ipv4.tcp_mem="786432 1048576 1572864"

2. 限制孤儿 socket

# 孤儿 socket 最大数量
sysctl -w net.ipv4.tcp_max_orphans=65536
# 孤儿 socket 重传次数
sysctl -w net.ipv4.tcp_orphan_retries=1

10.4 监控指标

关键指标:

使用 eBPF 监控:

11. 总结

本文深入剖析了 Linux TCP 连接管理的实现机制,涵盖了从连接建立到终止的完整生命周期。

11.1 核心要点

连接建立(三次握手):

  • 客户端:connect() → SYN_SENT → ESTABLISHED

  • 服务器:listen() → SYN_RECV → ESTABLISHED

  • 半连接队列和全连接队列管理

  • SYN Cookie 防御 SYN Flood 攻击

连接终止(四次挥手):

  • 主动关闭:FIN_WAIT_1 → FIN_WAIT_2 → TIME_WAIT

  • 被动关闭:CLOSE_WAIT → LAST_ACK → CLOSED

  • TIME_WAIT 状态的必要性和优化

连接管理:

  • tcp_hashinfo 哈希表结构

  • ESTABLISHED、LISTEN、绑定端口三个哈希表

  • 快速连接查找和状态管理

定时器机制:

  • 重传定时器:检测丢包并重传

  • Keepalive 定时器:检测空闲连接

  • TIME_WAIT 定时器:2MSL 等待

11.2 性能优化建议

  1. 防御 SYN Flood:启用 SYN Cookie,调整队列大小

  2. 优化 TIME_WAIT:启用 tw_reuse,缩短 fin_timeout

  3. 队列调优:增加 somaxconn 和 max_syn_backlog

  4. 使用高级特性:TCP Fast Open、SO_REUSEPORT

  5. 监控关键指标:队列溢出、重传率、TIME_WAIT 数量

11.3 下一篇预告

下一篇《TCP 协议实现(下)- 数据传输与拥塞控制》将深入分析:

  • TCP 数据发送和接收流程

  • 滑动窗口机制

  • 拥塞控制算法(Reno、CUBIC、BBR)

  • 快速重传和快速恢复

  • SACK 和 FACK 机制

12. 常见问题(FAQ)

Q1:为什么需要三次握手,两次不行吗?

A:三次握手的目的是同步双方的初始序列号(ISN)并确认对方的接收能力。两次握手无法防止旧连接的 SYN 包导致的错误连接建立。

Q2:TIME_WAIT 状态可以跳过吗?

A:不建议。TIME_WAIT 确保:

  • 最后的 ACK 能够到达对方

  • 网络中的旧数据包消失

  • 防止新连接收到旧连接的数据

Q3:如何判断是半连接队列满还是全连接队列满?

A:

# 查看统计信息
netstat -s | grep-i listen
# "SYNs to LISTEN sockets dropped" → 半连接队列满
# "times the listen queue overflowed" → 全连接队列满
# 查看当前队列状态
ss -lnt
# Recv-Q: 当前全连接队列长度
# Send-Q: 全连接队列最大长度

Q4:SYN Cookie 有什么缺点?

A:

  • 丢失 TCP 选项信息(只能保存 MSS)

  • 无法使用窗口缩放、SACK 等高级特性

  • 增加 CPU 开销(哈希计算)

  • 只在队列满时启用,作为最后防线

Q5:大量 TIME_WAIT 连接有什么影响?

A:

  • 占用端口资源(客户端可能端口耗尽)

  • 占用内存(虽然 timewait socket 很小)

  • 影响连接建立性能(哈希表查找)

解决方案:启用 tcp_tw_reuse,使用连接池

Q6:如何选择合适的 backlog 值?

A:

/* backlog 的实际值 */
backlog=min(backlog, somaxconn, tcp_max_syn_backlog);
/* 建议值 */
// 高并发服务器:2048 - 8192
// 普通服务器:512 - 1024
// 低并发服务器:128 - 256

13. 参考资料

13.1 内核源码

  • net/ipv4/tcp.c - TCP 核心实现

  • net/ipv4/tcp_ipv4.c - TCP IPv4 实现

  • net/ipv4/tcp_input.c - TCP 输入处理

  • net/ipv4/tcp_output.c - TCP 输出处理

  • net/ipv4/tcp_minisocks.c - TIME_WAIT 和 request_sock 处理

  • net/ipv4/syncookies.c - SYN Cookie 实现

  • net/ipv4/inet_hashtables.c - 连接哈希表管理

  • net/ipv4/inet_connection_sock.c - 连接 socket 操作

13.2 RFC 文档

  • RFC 793: Transmission Control Protocol

  • RFC 1122: Requirements for Internet Hosts - Communication Layers

  • RFC 2018: TCP Selective Acknowledgment Options

  • RFC 4987: TCP SYN Flooding Attacks and Common Mitigations

  • RFC 6298: Computing TCP's Retransmission Timer

  • RFC 7413: TCP Fast Open

13.3 书籍推荐

  • 《TCP/IP 详解 卷1:协议》- W. Richard Stevens

  • 《Linux 内核源代码情景分析》- 毛德操、胡希明

  • 《深入理解 Linux 网络技术内幕》- Christian Benvenuti

  • 《Linux 内核网络栈源码剖析》- 樊东东

13.4 在线资源

  • Linux 内核文档:https://www.kernel.org/doc/html/latest/networking/

  • TCP 状态机图:https://www.rfc-editor.org/rfc/rfc793.html

  • 内核参数说明:https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt


作者:Linux 网络子系统源码剖析系列版本:基于 Linux 5.10 LTS  

最新文章

随机文章