又是折腾本地AI部署的一天,这两天部署了llama.cpp和CosyVoice,效果都很满意也算顺利。
直到遇上本地编译ROCm版本vLLM。
Docker支撑了多少运维狗。
庆幸当年在校选择单片机+MFC,吃着C/C++这碗饭。
先夸夸Go/C/C++✨只要[静态]编译一次,直接生成可执行文件,发给谁都能跑,零依赖、零配置,干净又省心,简直是分发界的天花板!
再看看Python和Java💥写个.py脚本,想发给别人用?先装Python,再配环境变量,还要精准安装 和我本地完全兼容 的一堆依赖,版本错一个都跑不起来,纯纯原始社会开发!
.py可以打包成exe,但输出文件比Go的还大。
最近装vLLM更是心态炸了💢vLLM CUDA版本躺平就行,GitHub直接有编译好的包,享福到不行!轮到我的vLLM ROCM版本,官方不提供。
跟着官方教程一步步来
一堆看不懂的第三方依赖,虽然我看不懂,但一眼看出它的做法极不靠谱,教程直接:强制checkout到指定commit版本!但凡你checkout到某version tag我都愿意继续尝试
git clone https://github.com/ROCm/flash-attention.gitcd flash-attentiongit checkout 3cea2fbgit submodule update --initGPU_ARCHS="gfx1100" python3 setup.py installcd ..万一环境崩了,就算是当初亲手搭建它的人是公司大动脉,也完全不知道怎么恢复吧!从头排查全是坑,全是泪!
Docker真的是公司运维的续命神器,没有它,生态再好的语言,都得被环境折磨到疯🤯
#程序员吐槽 #Python环境崩溃 #Docker真香 #vllm安装 #ROCM折腾记 #编程踩坑