针对大模型和智能体新手开发者的Linux环境配置指南

如果你最近才开始折腾本地LLM部署或者开发AI Agent，大概率会在Windows上碰壁。这不是说Windows不能用，而是整个AI生态的“原生环境”其实是Linux。

在Windows上跑大模型，你往往要经历WSL2的性能损耗、诡异的路径映射问题，以及CUDA版本与驱动之间令人挠头（如25级的凯哥）的兼容性匹配问题。

很多开源项目（尤其是Agent框架）的文档默认就是bash脚本，遇到Windows特有的编码或权限问题时，光是排错就能耗掉半天时间。

而在Linux下，从底层驱动到上层框架的调用链路是原生打通的，GPU显存管理更高效，容器化部署也更稳定。对于需要长时间运行、多卡调度或者涉及底层算子优化的场景，Linux不是备选项，而是必选项。

考虑到NVIDIA CUDA对最新系统的适配通常有3-6个月的滞后期，Ubuntu 26.04虽然已经发布，但目前（2026年儿童节）的CUDA工具链尚未完全跟进。为了保证开发环境的稳定性，我们选择当前支持最完善、社区资料最丰富的Ubuntu 24.04 LTS作为基准系统。

下面是一份从零搭建基础开发环境的实操记录，所有资源均从清华大学TUNA镜像站获取，确保在本土网络环境下顺畅完成。

第一步：获取Ubuntu 24.04 LTS镜像

打开浏览器访问TUNA的Ubuntu Releases镜像目录：https://mirrors.tuna.tsinghua.edu.cn/ubuntu-cdimage/releases/24.04/release/

在文件列表中找到 ubuntu-24.04.4-desktop-amd64.iso（注意选择desktop版而非server版，除非你明确只需要命令行，后面有更新的比如24.04.5你就选更新的）。下载后建议核对一下同目录下的SHA256SUMS文件，确保镜像完整无误。这个版本对应的CUDA 13.x系列支持相当成熟，是目前生产环境的稳妥之选。

第二步：用Ventoy制作启动U盘

以前可能会推荐用Rufus或者balenaEtcher，现在强烈推荐Ventoy。Ventoy的好处是U盘里只需要放ISO文件，不用反复格式化，以后更新系统直接把新ISO拖进去就行。

1. 从GitHub Release页面下载最新版Ventoy：https://github.com/ventoy/Ventoy/releases
2. Windows系统就选择Ventoy2Disk.exe解压后运行，选中你的U盘，点击安装。
3. 安装完成后，U盘会被分成两个分区。把刚才下载的ubuntu-24.04.4-desktop-amd64.iso直接复制到U盘的可见的比较大的那个分区里即可。

如果你有多个ISO，也可以放到一个ISO文件夹里面，Ventoy都能自己找到来引导启动的。

插入电脑重启，选择从U盘引导，就能看到Ventoy的菜单界面，选中Ubuntu镜像回车即可进入安装流程。安装的时候建议选择英文，这样可以保证用户目录下的路径默认是英文，避免后续编译或运行某些开源项目时因中文路径报错。至于输入法，写代码时其实不太需要，后面用到再装也不迟。

第三步：安装Miniconda3

系统装好后先别急着换源，第一步先把Miniconda装上。这样做的好处是，后面配置TUNA镜像时可以一次性把系统apt、conda和pip全部搞定，避免来回改配置。

做AI开发不建议装完整的Anaconda，自带一堆用不上的科学计算包，体积臃肿还容易引发依赖冲突。Miniconda只包含conda和Python，干净轻量，需要什么环境自己建。

从TUNA镜像下载安装包：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

安装过程中一路回车同意协议，安装路径保持默认~/miniconda3即可。最后一步问是否初始化conda时选yes。

安装完毕后重新打开终端，看到命令提示符前面出现(base)字样就成功了。

第四步：一键配置TUNA软件源（含Conda与Pip）

Miniconda就绪后，就可以用TUNA的一键脚本把系统源、conda源和pip源一起配好了。这比手动改各种配置文件更安全，还能自动备份原配置。打开终端执行：

wget https://tuna.moe/oh-my-tuna/oh-my-tuna.py
sudo python3 oh-my-tuna.py --global

脚本会自动检测系统版本，将apt源替换为TUNA，同时检测到已安装的conda和pip后也会一并配置镜像。完成后跑一次sudo apt update && sudo apt upgrade，确认没有报错且速度正常，就说明全部配置成功了。

第五步：安装基础开发工具链

换完源之后，趁着网速快，先把底层编译工具和网络调试工具装齐。AI开发绝不只是写Python，大量底层库（如flash-attn、triton）需要从源码编译，没有完整的工具链寸步难行。

sudo apt install build-essential gcc g++ make cmake git gh neofetch net-tools -y

简单说一下这几个包的用途：

第六步：安装中文语言包与输入法

刚装好的Ubuntu如果没选中文安装，系统底层的中文locale和字体都是缺失的，这时候就算装了输入法也打不出字或者全是乱码。必须先把中文语言支持装全，再装输入法引擎。

# 1. 安装 IBus 框架本体及拼音引擎
sudo apt install ibus ibus-pinyin -y

# 2. 安装中文语言包与 CJK 字体（解决乱码和locale缺失）
sudo apt install language-pack-zh-hans fonts-noto-cjk -y

# 3. 将 IBus 设为默认输入法框架并生成环境变量
im-config -n ibus

安装完成后，进入「设置 → 区域和语言 → 管理已安装的语言」，确认“汉语(中国)”已经被勾选并拖动到列表顶部。接着在「输入源」里点击加号，搜索并添加“中文(智能拼音)”。

务必注销当前用户并重新登录，让locale环境和输入法守护进程彻底重载。登录后按Super+Space切换到智能拼音，如果能正常打出汉字且候选词显示正常，才算真正配置成功。

第七步：创建Python 3.12开发环境

这一步很关键。创建一个名为dev的独立环境：

conda create -n dev python=3.12 -y
conda activate dev

为什么指定3.12而不是更新的3.13甚至3.14？

这不是保守，而是现实所迫。AI领域的依赖链条极其复杂，PyTorch、TensorFlow、vLLM、LangChain这些核心库对Python版本的支持永远滞后于CPython的发布节奏。Python 3.13在2024年10月才正式发布，而3.14目前仍处于alpha/beta阶段，大量C扩展模块（比如flash-attn、triton、xformers）根本还没编译出对应的wheel包，强行使用只会陷入无尽的源码编译地狱。

Python 3.12则是当前的“甜品版本”：主流框架均已提供预编译支持，性能相比3.11有可感知的提升，且经过了足够长时间的社区验证，踩坑概率最低。等3.13的生态真正成熟，可能至少还要等到2026年下半年。在这之前，3.12就是兼顾稳定性与性能的最优解。

第八步：安装CUDA或ROCm

根据你的显卡阵营选择对应路线。

NVIDIA用户：

不推荐直接通过apt安装cuda-toolkit，版本往往偏旧。可以从NVIDIA官网下载deb或者runfile安装包，或者使用conda安装（适合纯Python开发）：

# conda方式安装CUDA运行时（不含驱动，驱动需单独从NVIDIA官网装，这里以13.2.0为例，版本号需要根据你的硬件所支持的来查询）
conda install nvidia/label/cuda-13.2.0::cuda-toolkit -n dev -y

如果需要完整开发套件（nvcc编译器、profiler等），建议去https://developer.nvidia.com/cuda-downloads选择对应版本的deb或者runfile安装器。安装前务必确认内核头文件已就绪：sudo apt install linux-headers-$(uname -r)。

AMD用户：

ROCm的安装相对简单，TUNA也提供了镜像源。先添加ROCm仓库：

wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/noble/amdgpu-install_7.2.4.70204-1_all.deb
sudo dpkg -i amdgpu-install_7.2.4.70204-1_all.deb
sudo amdgpu-install --usecase=rocm --no-dkms

注意ROCm对内核版本敏感，Ubuntu 24.04默认的内核版本以及你所用的显卡型号，务必提前查阅官方支持矩阵确认兼容性。

安装完成后将当前用户加入render和video组，否则普通用户无法访问GPU设备：

sudo usermod -aG render,video $USER

执行完这条命令后，必须注销并重新登录（或者重启系统）才会生效。可以用groups命令验证当前用户是否已成功加入这两个组。

写在最后

整套流程走下来，你会得到一个干净、可控、网络友好的基础开发环境。Linux环境初上手确实有学习成本，但一旦跨过这道门槛，你会发现之前花在Windows上解决各种“莫名其妙问题”的时间，现在都可以用来真正研究模型和Agent本身。这才是效率的本质。