当前位置:首页>python>突发奇想:Go 集成集成进 Python 中

突发奇想:Go 集成集成进 Python 中

  • 2026-10-11 21:39:51
突发奇想:Go 集成集成进 Python 中
点击上方蓝色“Go语言中文网”关注,每天一起学 Go

看到一篇文章:https://simonwillison.net/2026/Feb/4/distributing-go-binaries/。作者将 Go 二进制发布到 PyPI 上,通过 Python 安装 Go 二进制文件,还可以在 Python 代码中调用 Go。


我最近在用 Go 写一些小而快、而且完全自包含的命令行工具。用 Go 的体验让我挺满意的:基本上大部分事情都有一条“显而易见的正道”,代码写出来朴素、无魔法、可读性好——同时也非常适合让大模型来帮忙生成。

唯一比较麻烦的一点,是怎么把编译好的二进制方便地分发给用户。

但事实证明,如果把 Go 编译出的二进制发布到 PyPI 上,那任何一份 Go 二进制,基本上都能变成一句命令:

uvx package-name

就能直接运行。


sqlite-scanner:一个用来扫文件系统里 SQLite 库的 Go 工具

我最近写了一个新的 Go CLI 工具,叫做 sqlite-scanner[1],用途很简单:在文件系统里扫描并找出所有 SQLite 数据库文件。

它的工作原理是: 检查文件前 16 个字节,是否完全匹配 SQLite 的魔数(magic number):

SQLite format 3\x00

只要文件头是这串字节,就把它认作 SQLite 数据库文件。

这个工具支持:

  • 递归扫描一个或多个目录;
  • 使用并发 goroutine 加速扫描过程;
  • 实时流式输出结果;
  • 输出格式可选:
    • 纯文本
    • JSON
    • 每行一条 JSON(JSON Lines / NDJSON)
  • 可选输出文件大小信息。

三种用法,对比一下

你有几种方式可以试用它:

  1. GitHub Releases 直接下二进制去 GitHub releases 页面[2] 下载对应平台的发布版本。 在 macOS 上,你还得绕过系统对“未认证开发者二进制”的各种安全提示,这一步比较烦(官方文档在这:Running apps from unidentified developers[3] )。

  2. clone 仓库,自行用 Go 编译会 Go 的话,这当然没问题,但对很多用户来说门槛偏高。

  3. 一句命令直接跑二进制(推荐)

    如果你装了 `uv`[4],可以直接这样运行:

    uvx sqlite-scanner

    默认会从当前目录开始递归搜索 SQLite 数据库。

    你也可以传入一个或多个目录:

    uvx sqlite-scanner ~ /tmp

    想换输出格式:

    示例:

    uvx sqlite-scanner ~ --jsonl --size

    会类似这样滚动输出:

    终端演示:每行一个含 path 和 size 字段的 JSON 对象
    • --json:输出 JSON
    • --jsonl:输出 NDJSON(每行一条 JSON)
    • --size:附带输出文件大小

如果你还没被 uv 安利过,也可以走“传统 Python 路线”:

pip install sqlite-scanner sqlite-scanner

想让 uv 长期缓存这个工具,可以:

uv tool install sqlite-scanner

之后终端里直接运行 sqlite-scanner 即可。


Python 包是怎么“驱动”这个 Go 二进制的?

让这件事变得真正有趣的是:pip / uv / PyPI 会自动帮你选对平台和架构对应的那份二进制。

在 sqlite-scanner 的 PyPI 页面[5]上,你能看到类似下面这些文件:

  • sqlite_scanner-0.1.1-py3-none-win_arm64.whl
  • sqlite_scanner-0.1.1-py3-none-win_amd64.whl
  • sqlite_scanner-0.1.1-py3-none-musllinux_1_2_x86_64.whl
  • sqlite_scanner-0.1.1-py3-none-musllinux_1_2_aarch64.whl
  • sqlite_scanner-0.1.1-py3-none-manylinux_2_17_x86_64.whl
  • sqlite_scanner-0.1.1-py3-none-manylinux_2_17_aarch64.whl
  • sqlite_scanner-0.1.1-py3-none-macosx_11_0_arm64.whl
  • sqlite_scanner-0.1.1-py3-none-macosx_10_9_x86_64.whl

我在 Apple Silicon 的 Mac 上运行:

pip install sqlite-scanner # 或 uvx sqlite-scanner

Python 打包生态那一整套“魔法”,就会帮我自动挑选 macosx_11_0_arm64.whl 这一份 wheel,里面藏着对应平台的二进制。

wheel 文件本质是一个 zip 包,你可以在这里在线展开看具体内容:

What’s in the wheel https://tools.simonwillison.net/zip-wheel-explorer?url=...

其中最关键的两个部分:

  • bin/sqlite-scanner:真正的 Go 可执行文件;
  • sqlite_scanner/__init__.py:负责找到这个二进制并调用它。

核心 Python 代码大致如下:

def get_binary_path():
"""Return the path to the bundled binary."""
    binary = os.path.join(os.path.dirname(__file__), "bin", "sqlite-scanner")

# Ensure binary is executable on Unix
if sys.platform != "win32":
        current_mode = os.stat(binary).st_mode
if not (current_mode & stat.S_IXUSR):
            os.chmod(binary, current_mode | stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH)

return binary


def main():
"""Execute the bundled binary."""
    binary = get_binary_path()

if sys.platform == "win32":
# On Windows, use subprocess to properly handle signals
        sys.exit(subprocess.call([binary] + sys.argv[1:]))
else:
# On Unix, exec replaces the process
        os.execvp(binary, [binary] + sys.argv[1:])

这里的 main() 函数(也会由 sqlite_scanner/__main__.py 调用),配合 wheel 里的 entry point 声明:

sqlite-scanner = sqlite_scanner:main

就实现了:用户运行 sqlite-scanner 这个 Python 入口,其实就是在执行打包在 wheel 里的 Go 二进制。


更妙的一步:把 Go 二进制当成其他 Python 包的依赖

坦白说,用 PyPI 来发 Go 二进制,多少有点“滥用”感觉——不过其实早有先例,我之前就写过一篇:Bundling binary tools in Python wheels[6]。

我给它的“正当化理由”是:

这意味着:我们现在可以把 Go 编译好的二进制,当作 Python 包的依赖来使用了。

这其实非常有用。

任何只要能以“跨平台 Go 二进制”形式提供的功能,现在都可以“嵌入”到 Python 工具链里。Python 非常擅长跑子进程,这就给我们打开了很多可能性:

  • 高性能计算可以用 Go 实现;
  • Python 只负责 orchestrate(编排);
  • 用户只用 pip install,不需要管 Go 怎么来的。

为此我写了一个新的 Datasette 插件:datasette-scan[7],它依赖 sqlite-scanner,并通过这个 Go 二进制扫描一个目录,把找到的所有 SQLite 数据库挂载到一个 Datasette 实例上。

有了 uv,你甚至可以不用先安装任何东西,直接一条命令体验:

uv run --with datasette-scan datasette scan ~/Downloads

这条命令会:

  1. 临时安装 datasette-scan 及其依赖(包括 sqlite-scanner 的 wheel);
  2. 扫描 ~/Downloads 目录中的 SQLite 数据库;
  3. 把它们挂到 Datasette 里,供你浏览和查询。

如果你去看 datasette-scan 的代码,会发现它在 pyproject.toml 里这样声明依赖:

[project] dependencies = ["datasette","sqlite-scanner",]

然后在自己的 scan_directories() 函数中,通过:

subprocess.run([sqlite_scanner.get_binary_path(), ...])

来调用 sqlite-scanner 对应平台的二进制。

最近我也在其他项目里用类似模式——比如这里有个小脚本:livestream-gif.py[8],依赖的是一个叫 static-ffmpeg[9] 的包,目的也是为了在 Python 里能稳定拿到一个 ffmpeg 可执行文件。


用 go-to-wheel 从 Go 项目自动构建 Python wheels

自己手撸了几次“把 Go 项目打包成 Python wheel”的过程之后,我意识到:是该有一个自动化工具了。

我先用 Claude 头脑风暴了一下,确认暂时没有现成工具完全符合我这个需求。它倒是推荐了两个相关项目:

  • maturin bin[10]:给 Rust 项目做 wheel 打包的工具;
  • pip-binary-factory[11]:会帮你打包各种二进制项目。

但都不完全符合:

“给一个 Go 项目,一键产出带多平台二进制的 Python wheels。”

于是我用 Claude Code for web 生成了一个初版,再在本地用 Claude Code 加上一点 OpenAI Codex 迭代调优,最终做出了 simonw/go-to-wheel[12] 这个工具。

我把它本身也发到了 PyPI 上了,所以你可以直接用:

uvx go-to-wheel --help

查看帮助。

sqlite-scanner 这个包,就是用 go-to-wheel 打出来的。完整命令类似这样:

uvx go-to-wheel ~/dev/sqlite-scanner \
  --set-version-var main.version \
  --version 0.1.1 \
  --readme README.md \
  --author 'Simon Willison' \
  --url https://github.com/simonw/sqlite-scanner \
  --description 'Scan directories for SQLite databases'

这条命令会在 dist/ 目录里生成一整套多平台 wheel。

我会先在本地随便挑一个 wheel 试一下,比如:

uv run --with dist/sqlite_scanner-0.1.1-py3-none-macosx_11_0_arm64.whl \
  sqlite-scanner --version

如果输出的版本号正确,我就基本确定构建流程没问题了。

接下来,把所有 wheel 一次性上传到 PyPI:

uvx twine upload dist/*

输入 PyPI 的 API token,就搞定发布。


这个模式,我打算长期用下去

sqlite-scanner 本身其实更像是这个模式的一个“概念验证”(proof of concept)。要知道:

如果只是递归遍历目录、判断文件头字节前缀,其实 Python 也完全可以自己干这件事。

但我依然觉得,这个模式有很大价值:

  • Go 是 Python 的一个绝佳补充:
    • 编译后是小而自包含的二进制;
    • 性能好,并发支持一流;
    • 标准库强大,生态也不错;
  • Go 和 Python 都有“强标准库”的特点,尤其是在 HTTP 相关工具上 Go 非常好用。
    • 我过去用 Go 的 net/http/httputil.ReverseProxy 写过不少 HTTP 代理。

最近我还在试验 wazero[13],这是一个完全用 Go 写的、零依赖的 WebAssembly 运行时,我用它继续探索“安全执行不可信代码”的理想沙箱形态。我的一个最新实验在这里:

wasm-repl-cli https://github.com/simonw/research/tree/main/wasm-repl-cli

现在,多亏了这个“Go + PyPI + wheel + uv” 的模式,我可以:

把 Go 二进制无缝整合进 Python 项目里,而终端用户完全不需要关心 Go 的存在—— 他们只会看到:pip install / uv run ,然后“一切正常工作”。

这一点,让我觉得这个模式非常值得长期采用。


如果你:

  • 有现成的 Go CLI 工具,想降低分发成本;
  • 想在 Python 项目里用上高性能的 Go 组件;
  • 或者单纯想为自己的 Go 项目多开一条“PyPI 分发渠道”;

不妨试试:

  1. 用 go-to-wheel 把 Go 项目打成多平台 Python wheel;
  2. 发布到 PyPI;
  3. 在 Python 项目中把它当成普通依赖,用 subprocess + get_binary_path() 调用即可。

一条命令跑 Go 二进制,用户却只感觉自己在用 Python 工具——这会是今后我在个人项目里反复使用的一种模式。

参考资料
[1] 

sqlite-scanner: https://github.com/simonw/sqlite-scanner

[2] 

GitHub releases 页面: https://github.com/simonw/sqlite-scanner/releases

[3] 

Running apps from unidentified developers: https://support.apple.com/en-us/102445

[4] 

uv: https://github.com/astral-sh/uv

[5] 

sqlite-scanner 的 PyPI 页面: https://pypi.org/project/sqlite-scanner/#files

[6] 

Bundling binary tools in Python wheels: https://simonwillison.net/2022/May/23/bundling-binary-tools-in-python-wheels

[7] 

datasette-scan: https://github.com/simonw/datasette-scan

[8] 

livestream-gif.py: https://github.com/simonw/tools/blob/main/python/livestream-gif.py

[9] 

static-ffmpeg: https://pypi.org/project/static-ffmpeg/

[10] 

maturin bin: https://www.maturin.rs/bindings.html#bin

[11] 

pip-binary-factory: https://github.com/Bing-su/pip-binary-factory

[12] 

simonw/go-to-wheel: https://github.com/simonw/go-to-wheel

[13] 

wazero: https://github.com/wazero/wazero


推荐阅读

福利
我为大家整理了一份从入门到进阶的Go学习资料礼包,包含学习建议:入门看什么,进阶看什么。关注公众号 「polarisxu」,回复 ebook 获取;还可以回复「进群」,和数万 Gopher 交流学习。

最新文章

随机文章