OOM系统参数简单说明

1. panic_on_oom
    - 修改位置：sysctl修改vm.panic_on_oom
    - 功能说明：
        - 0 ：内存不足时，触发OOM Killer（默认值）
        - 1 ：内存不足时，根据具体情况可能发生kernel panic，也可能触发OOM killer
        - 2 ：内存不足时，强制触发系统panic，导致系统重启
2. oom_kill_allocating_task
    - 修改位置：sysctl修改vm.oom_kill_allocating_task
    - 功能说明：
        - 0   ：选择oom_score得分最高的进程（默认值）
        - 非0：选择触发OOM的进程
3. oom_dump_tasks
    - 修改位置：sysctl修改vm.oom_dump_tasks
    - 功能说明：
        - 0   ：OOM发生时不会打印相关信息
        - 非0：以下三种情况会调用dump_tasks打印系统中所有task的内存状况。（默认值1）
            - 由于OOM导致kernel panic。
            - 没有找到需要结束的进程。
            - 找到进程并将其结束的时候
4. oom_score
    - 修改位置：echo 1000 > /proc/<pid>/oom_score_adj
    - 功能说明：
        - 0     ：不调整oom_score（默认值）
        - 负值：在实际打分值上减去一个折扣（若设定成OOM_SCORE_ADJ_MIN或-1000，则表示禁止OOM killer结束该进程）
        - 正值：增加该进程的oom_score
5. cgroup优先级配置
6. cgroup的内存节点设置

OOM触发条件说明

1. cgroup内存不足：

    使用的内存超出了cgroup中memory.limit_in_bytes配置的大小

    - 示例：cgroup的limit_in_bytes设置80M，实际使用超过80M

2. 父cgroup内存不足：

    在子cgroup中内存仍然足够，但是父cgroup的内存不足，超过了内存限制（父进程的memory.limit_in_bytes)

    - 示例：父进程cgroup的limit_in_bytes设置80M，两个子进程的cgroup的limit_in_bytes分别设置50M

3. 系统全局内存不足

    方面由于OS的空闲内存不足，有程序一直在申请内存，另一方面也无法通过内存回收机制解决内存不足的问题，因此触发了OOM

4. 内存节点（Node）的内存不足

    在NUMA存储模式下，OS会存在多个内存节点，如果程序指定使用特定节点的内存，可能在OS内存充足的情况下触发OOM

5. 其他可能原因

    OS在内存分配的过程中，如果伙伴系统的内存不足，则系统会通过OOM Killer释放内存，并将内存提供至伙伴系统

解决方案

1. 从业务进程排查，确认是否有内存泄漏，导致OOM。

2. 排查cgroup limit_in_bytes配置是否与业务内存规划匹配，如需要调整，可以手动执行以下命令修改配置参数：

    echo <value> > /sys/fs/cgroup/memory/<cgroup_name>/memory.limit_in_bytes

3. 如果确认业务需要比较多的内存，建议升级弹性云服务器内存规格。

4. 调整系统内核参数

总结

对于OOM，我们可以通过多个角度来实现细粒度的控制。