当前位置:首页>python>Python的写法,C的速度,AI推理还能一键起服务

Python的写法,C的速度,AI推理还能一键起服务

  • 2026-10-08 16:04:35
Python的写法,C的速度,AI推理还能一键起服务

Python的写法,C的速度,AI推理还能一键起服务

2026年8月22日 · 第66期

● 每周发现最值得关注的开源项目 ●

◆ ◆ ◆

痛点:写AI推理,Python太慢;写C++/CUDA,门槛太高

你做过AI模型部署就知道这个死循环。

原型用Python写,快是快,一上线推理速度拉胯。想优化?C++重写前处理,CUDA kernel自己写,一套下来两周没了。而且CUDA意味着你被锁死在N卡上——AMD的卡?ARM服务器?想都别想。

更别提团队里的算法工程师,Python写得溜,C++看了就头大。两边的鸿沟一直存在。

▪ Python推理慢,GIL锁死死卡住多线程
▪ C++/CUDA性能强,但开发周期长、人才贵
▪ 绑定Nvidia生态,换硬件等于推倒重来
▪ 模型部署从PyTorch到生产,中间隔着TensorRT、ONNX、vLLM一堆工具

有没有一种语言,写起来像Python,跑起来像C?有。它叫Mojo。

开源方案:Modular

Apache 2.0Mojo~28.5k Stars今日+905

Modular 是Modular公司的开源平台仓库,28.5k Stars,今天一天涨了905。里面装了两个东西:

1. Mojo编程语言 —— 语法兼容Python,性能号称比Python快35000倍
2. MAX Engine —— AI推理引擎,PyTorch模型直接跑,一行命令起OpenAI兼容API

三天前(8月19日)刚开源了Mojo编译器核心组件KGEN,昨天还在持续提交代码,活跃度拉满。

● Mojo:写起来像Python,跑起来像C

Mojo的语法你看一眼就会——因为它几乎就是Python。

fn sum_numbers(numbers: List[Int]) -> Int:
    var total: Int = 0
    for num in numbers:
        total += num
    return total

fn代替def,加了类型标注,其他和Python一模一样。但底层完全不同——Mojo直接编译成机器码,没有GIL,支持零成本抽象,能用SIMD指令、能手动管理内存、能写系统级代码。

官方基准测试里,Mojo比Python快35000倍。同样的算法、同样的逻辑,换个语言直接起飞。

● Mojo vs Python vs C

► 语法:几乎完全兼容Python,学习成本极低

► 性能:编译型语言,无GIL,支持SIMD/并行,接近C/Rust

► 生态:可以直接import Python库,NumPy/Pandas照用

► 系统编程:能操作指针、手动管理内存、写硬件驱动

► 渐进式类型:可以全动态类型,也可以逐步加类型优化性能

最狠的是——你不需要重写已有代码。Python文件可以直接在Mojo里跑,热点函数用Mojo重写就行。渐进式迁移,不搞all or nothing。

● MAX Engine:PyTorch模型直接部署,一行命令起服务

如果说Mojo解决的是"写得快+跑得快"的矛盾,MAX Engine解决的就是"部署难"的痛点。

传统流程:PyTorch训练 -> 导出ONNX -> TensorRT优化 -> 写推理服务 -> 封装API。每一步都可能踩坑。

MAX Engine的流程:PyTorch模型直接加载 -> max serve -> 得到一个OpenAI兼容的API endpoint。

# 安装MAX
pip install modular
modular install max

# 一行命令启动推理服务(OpenAI兼容API)
max serve --model meta-llama/Llama-3-8B-Instruct

# 然后你就可以用OpenAI SDK调用了
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1")
response = client.chat.completions.create(
    model="meta-llama/Llama-3-8B-Instruct",
    messages=[{"role": "user", "content": "Hello!"}]
)

支持PyTorch、HuggingFace模型直接加载,不需要转格式。自动图优化、算子融合、量化。跨硬件——Nvidia GPU、AMD GPU、AWS Trainium、Intel Xeon、ARM都能跑。

● 开源 vs 闭源:Mojo+MAX vs CUDA生态

Nvidia的CUDA生态确实强,但它是一堵围墙:你必须用N卡,必须用CUDA,必须跟着Nvidia的节奏走。AMD的卡?再等等。ARM服务器?基本没戏。想换云厂商?先看看有没有N卡实例。

● Modular vs CUDA生态

► 硬件:跨平台(Nvidia/AMD/Intel/ARM/AWS) vs 锁定Nvidia GPU

► 开源:Mojo编译器Apache 2.0,MAX社区版开源 vs CUDA闭源

► 语言:Python兼容语法,AI工程师零门槛 vs CUDA C++学习曲线陡峭

► 部署:一行命令起OpenAI兼容服务 vs 多工具链接拼接

► 迁移:渐进式,Python代码可直接运行 vs 需要重写kernel

当然,现在说Mojo能完全替代CUDA还太早。生态成熟度、社区规模、生产案例都还在追赶。但方向是对的——AI基础设施不应该被一家公司锁死。

● 快速上手

# 方式一:pip安装(最快)
pip install modular
modular install mojo
modular install max

# 写个Mojo程序
echo 'fn main(): print("Hello, Mojo!")' > hello.mojo
mojo hello.mojo

# 方式二:MAX推理服务
max serve --model meta-llama/Llama-3-8B-Instruct
# 访问 http://localhost:8000/docs 查看API文档

Mojo采用Apache 2.0许可,MAX引擎使用Modular Community License。28.5k Stars,今天+905,三天前刚开源编译器组件,正是最火的时候。

◆ ◆ ◆

副推:Google Timeline Visualizer —— 把你的Google时间线变成旅行动画视频

MITKotlin/Python~2.1k Stars今日+1040飙升

年底了,想做个年度旅行回顾视频。

你打开应用商店搜"旅行轨迹",下载量最高的几个App:要注册账号、要读取位置权限、要上传你的位置历史到服务器、最后导出视频还要开会员。

你的位置数据——每天去了哪、待了多久、走的什么路线——就这么上传到了陌生人的服务器上。而且做出来的视频还带着App水印。

Google Maps有个功能叫"时间线",记录了你所有的位置历史。但它只能在地图上看,不能导出成视频。你的数据在你手机上,为什么做个视频还要上传?

Google Timeline Visualizer 直接在手机本地把Google时间线的JSON文件渲染成动画旅行视频(MP4)。

Kotlin写Android端,Python写桌面端,MIT协议,2.1k Stars,今天一天涨了1040,正在飙升。

● 核心能力

► 1080p输出:全高清MP4,发朋友圈发B站都够清晰

► 三种相机模式:steady(稳定跟随)/ dynamic(动态运镜)/ fixed(固定俯瞰)

► 多种画幅:横屏16:9、竖屏9:16、方形1:1,适配不同平台

► 路线动画:光点沿实际路径移动,经过的城市依次标注

► 隐私优先:零网络请求,数据不离开手机

● 开源 vs 闭源:本地渲染 vs 上传服务器

市面上做旅行轨迹视频的App不少,核心逻辑都是:上传位置数据 -> 服务器渲染 -> 下载视频。这意味着:

▪ 你的完整行动轨迹存在别人的数据库里
▪ 服务器被拖库,你的行踪就全暴露了
▪ 免费版带水印、限时长、逼你开会员
▪ App停止服务,你的数据可能就没了

Google Timeline Visualizer把整个流程反过来——所有渲染在本地完成,App甚至不需要网络权限。

● 支持什么平台?

▪ Android:直接下载最新APK安装,开箱即用
▪ iPhone:Safari打开Web App,添加到主屏幕
▪ 桌面端:Python脚本,支持Windows/macOS/Linux

桌面端还支持更多自定义参数:帧率、码率、动画速度、地图样式。

● 快速上手

# Android
# 从GitHub Releases下载最新APK安装即可

# iPhone
# 用Safari打开Web App链接,添加到主屏幕

# 桌面端(Python)
git clone https://github.com/mahlernim/google-timeline-visualizer.git
cd google-timeline-visualizer
pip install -r requirements.txt
python visualizer.py --input Timeline.json

# 自定义参数
python visualizer.py \
  --input Timeline.json \
  --start 2025-01-01 \
  --end 2025-12-31 \
  --mode dynamic \
  --orientation landscape \
  --output my_travel_2025.mp4

MIT协议,完全免费。2.1k Stars,今天+1040,正在飙升——年底了,是时候给自己做个旅行总结了。

◆ ◆ ◆

本期总结

对比项
Modular
Google Timeline Visualizer
项目类型
AI基础设施(语言+推理引擎)
个人工具(旅行轨迹可视化)
Stars
~28.5k(今日+905)
~2.1k(今日+1040飙升)
语言
Mojo + Python
Kotlin + Python
协议
Apache 2.0 / MCL
MIT
亮点
Python语法+C性能,一行起推理服务
本地渲染旅行动画,零上传
适合谁
AI工程师、基础设施开发者
想做年度旅行回顾的人

◆ ◆ ◆

开源大猩探 ● 每周发现最值得关注的开源项目

如果觉得有用,转发给你身边需要的朋友。

最新文章

随机文章