Python的写法,C的速度,AI推理还能一键起服务
2026年8月22日 · 第66期
● 每周发现最值得关注的开源项目 ●
◆ ◆ ◆
痛点:写AI推理,Python太慢;写C++/CUDA,门槛太高
你做过AI模型部署就知道这个死循环。
原型用Python写,快是快,一上线推理速度拉胯。想优化?C++重写前处理,CUDA kernel自己写,一套下来两周没了。而且CUDA意味着你被锁死在N卡上——AMD的卡?ARM服务器?想都别想。
更别提团队里的算法工程师,Python写得溜,C++看了就头大。两边的鸿沟一直存在。
▪ Python推理慢,GIL锁死死卡住多线程
▪ C++/CUDA性能强,但开发周期长、人才贵
▪ 绑定Nvidia生态,换硬件等于推倒重来
▪ 模型部署从PyTorch到生产,中间隔着TensorRT、ONNX、vLLM一堆工具
有没有一种语言,写起来像Python,跑起来像C?有。它叫Mojo。
开源方案:Modular
Apache 2.0Mojo~28.5k Stars今日+905
Modular 是Modular公司的开源平台仓库,28.5k Stars,今天一天涨了905。里面装了两个东西:
1. Mojo编程语言 —— 语法兼容Python,性能号称比Python快35000倍
2. MAX Engine —— AI推理引擎,PyTorch模型直接跑,一行命令起OpenAI兼容API
三天前(8月19日)刚开源了Mojo编译器核心组件KGEN,昨天还在持续提交代码,活跃度拉满。
● Mojo:写起来像Python,跑起来像C
Mojo的语法你看一眼就会——因为它几乎就是Python。
fn sum_numbers(numbers: List[Int]) -> Int:
var total: Int = 0
for num in numbers:
total += num
return total
fn代替def,加了类型标注,其他和Python一模一样。但底层完全不同——Mojo直接编译成机器码,没有GIL,支持零成本抽象,能用SIMD指令、能手动管理内存、能写系统级代码。
官方基准测试里,Mojo比Python快35000倍。同样的算法、同样的逻辑,换个语言直接起飞。
● Mojo vs Python vs C
► 语法:几乎完全兼容Python,学习成本极低
► 性能:编译型语言,无GIL,支持SIMD/并行,接近C/Rust
► 生态:可以直接import Python库,NumPy/Pandas照用
► 系统编程:能操作指针、手动管理内存、写硬件驱动
► 渐进式类型:可以全动态类型,也可以逐步加类型优化性能
最狠的是——你不需要重写已有代码。Python文件可以直接在Mojo里跑,热点函数用Mojo重写就行。渐进式迁移,不搞all or nothing。
● MAX Engine:PyTorch模型直接部署,一行命令起服务
如果说Mojo解决的是"写得快+跑得快"的矛盾,MAX Engine解决的就是"部署难"的痛点。
传统流程:PyTorch训练 -> 导出ONNX -> TensorRT优化 -> 写推理服务 -> 封装API。每一步都可能踩坑。
MAX Engine的流程:PyTorch模型直接加载 -> max serve -> 得到一个OpenAI兼容的API endpoint。
# 安装MAX
pip install modular
modular install max
# 一行命令启动推理服务(OpenAI兼容API)
max serve --model meta-llama/Llama-3-8B-Instruct
# 然后你就可以用OpenAI SDK调用了
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1")
response = client.chat.completions.create(
model="meta-llama/Llama-3-8B-Instruct",
messages=[{"role": "user", "content": "Hello!"}]
)
支持PyTorch、HuggingFace模型直接加载,不需要转格式。自动图优化、算子融合、量化。跨硬件——Nvidia GPU、AMD GPU、AWS Trainium、Intel Xeon、ARM都能跑。
● 开源 vs 闭源:Mojo+MAX vs CUDA生态
Nvidia的CUDA生态确实强,但它是一堵围墙:你必须用N卡,必须用CUDA,必须跟着Nvidia的节奏走。AMD的卡?再等等。ARM服务器?基本没戏。想换云厂商?先看看有没有N卡实例。
● Modular vs CUDA生态
► 硬件:跨平台(Nvidia/AMD/Intel/ARM/AWS) vs 锁定Nvidia GPU
► 开源:Mojo编译器Apache 2.0,MAX社区版开源 vs CUDA闭源
► 语言:Python兼容语法,AI工程师零门槛 vs CUDA C++学习曲线陡峭
► 部署:一行命令起OpenAI兼容服务 vs 多工具链接拼接
► 迁移:渐进式,Python代码可直接运行 vs 需要重写kernel
当然,现在说Mojo能完全替代CUDA还太早。生态成熟度、社区规模、生产案例都还在追赶。但方向是对的——AI基础设施不应该被一家公司锁死。
● 快速上手
# 方式一:pip安装(最快)
pip install modular
modular install mojo
modular install max
# 写个Mojo程序
echo 'fn main(): print("Hello, Mojo!")' > hello.mojo
mojo hello.mojo
# 方式二:MAX推理服务
max serve --model meta-llama/Llama-3-8B-Instruct
# 访问 http://localhost:8000/docs 查看API文档
Mojo采用Apache 2.0许可,MAX引擎使用Modular Community License。28.5k Stars,今天+905,三天前刚开源编译器组件,正是最火的时候。
◆ ◆ ◆
副推:Google Timeline Visualizer —— 把你的Google时间线变成旅行动画视频
MITKotlin/Python~2.1k Stars今日+1040飙升
年底了,想做个年度旅行回顾视频。
你打开应用商店搜"旅行轨迹",下载量最高的几个App:要注册账号、要读取位置权限、要上传你的位置历史到服务器、最后导出视频还要开会员。
你的位置数据——每天去了哪、待了多久、走的什么路线——就这么上传到了陌生人的服务器上。而且做出来的视频还带着App水印。
Google Maps有个功能叫"时间线",记录了你所有的位置历史。但它只能在地图上看,不能导出成视频。你的数据在你手机上,为什么做个视频还要上传?
Google Timeline Visualizer 直接在手机本地把Google时间线的JSON文件渲染成动画旅行视频(MP4)。
Kotlin写Android端,Python写桌面端,MIT协议,2.1k Stars,今天一天涨了1040,正在飙升。
● 核心能力
► 1080p输出:全高清MP4,发朋友圈发B站都够清晰
► 三种相机模式:steady(稳定跟随)/ dynamic(动态运镜)/ fixed(固定俯瞰)
► 多种画幅:横屏16:9、竖屏9:16、方形1:1,适配不同平台
► 路线动画:光点沿实际路径移动,经过的城市依次标注
► 隐私优先:零网络请求,数据不离开手机
● 开源 vs 闭源:本地渲染 vs 上传服务器
市面上做旅行轨迹视频的App不少,核心逻辑都是:上传位置数据 -> 服务器渲染 -> 下载视频。这意味着:
▪ 你的完整行动轨迹存在别人的数据库里
▪ 服务器被拖库,你的行踪就全暴露了
▪ 免费版带水印、限时长、逼你开会员
▪ App停止服务,你的数据可能就没了
Google Timeline Visualizer把整个流程反过来——所有渲染在本地完成,App甚至不需要网络权限。
● 支持什么平台?
▪ Android:直接下载最新APK安装,开箱即用
▪ iPhone:Safari打开Web App,添加到主屏幕
▪ 桌面端:Python脚本,支持Windows/macOS/Linux
桌面端还支持更多自定义参数:帧率、码率、动画速度、地图样式。
● 快速上手
# Android
# 从GitHub Releases下载最新APK安装即可
# iPhone
# 用Safari打开Web App链接,添加到主屏幕
# 桌面端(Python)
git clone https://github.com/mahlernim/google-timeline-visualizer.git
cd google-timeline-visualizer
pip install -r requirements.txt
python visualizer.py --input Timeline.json
# 自定义参数
python visualizer.py \
--input Timeline.json \
--start 2025-01-01 \
--end 2025-12-31 \
--mode dynamic \
--orientation landscape \
--output my_travel_2025.mp4
MIT协议,完全免费。2.1k Stars,今天+1040,正在飙升——年底了,是时候给自己做个旅行总结了。
◆ ◆ ◆
本期总结
| | Google Timeline Visualizer |
|---|
| 项目类型 | | |
| Stars | | |
| 语言 | | |
| 协议 | | |
| 亮点 | | |
| 适合谁 | | |
◆ ◆ ◆
开源大猩探 ● 每周发现最值得关注的开源项目
如果觉得有用,转发给你身边需要的朋友。