如果一个模型从未听说过互联网,不知道什么是登月,甚至不知道人类发明了计算机,它还能产生智能吗?
两天前,Hugging Face 上出现了一个“异类”。它拥有 13B 参数,训练了 2600 亿个 Token。它的特殊之处在于:它在物理意义上,穿越回了 1930 年。
它的名字叫:talkie。
一、 2600亿个“旧”单词:一场公有领域的复古实验
talkie 的数据集极度“纯净”且“陈旧”。它只读 1930 年 12 月 31 日之前的书籍、报纸、专利和法律文书。
为什么要卡在 1930 年?答案很现实:版权。在这个时间点之前的出版物在美国已进入公有领域,开发者可以完全合法、无纠纷地喂给 AI。
谁在背后操刀?这个项目的团队名单堪称豪华,尤其是第三位:
这位开创了 GPT 时代的顶级大神,离开 OpenAI 后做的第一个大项目,不是追求更强的算力,而是复刻一个“数字古董”。
二、 没见过计算机的 AI,竟然会写 Python?
这听起来像个悖论:talkie 的训练语料库里连一个字节的代码都没有,因为它诞生时,世界上根本没有编程语言。
但这正是实验最迷人的地方:测试“泛化能力”。
研究者给 talkie 出了道 Python 题:给出一个旋转密码的编码函数,要求写出解码函数。
奇迹发生了:talkie 的答案非常简洁——只需把编码函数里的“加号”改为“减号”。
这意味着:尽管它从未见过 Python 语法,但它理解了“编码与解码互为逆操作”这一抽象逻辑。它不是在“背代码”,而是在尝试用一种它不懂的语言去“解决逻辑问题”。
作者感叹道:“这表明模型具备超越训练数据本身的泛化能力。”
三、 现代灵魂的“入侵”:完全复古难以实现
虽然研究者竭尽全力封锁现代信息,但 talkie 还是不可避免地被“污染”了。
说话方式的“现代病”: 经过强化学习后,talkie 居然学会了“关于X的五件事”这种 21 世纪自媒体式的口吻。因为它的“教练”是 Claude 3.5 —— 一个彻底的现代 AI。
时间泄露: 当被问到 1936 年的美国总统时,talkie 准确报出了罗斯福的名字。而罗斯福 1932 年才当选。这说明再严密的过滤也难免有“漏网之鱼”。
四、 结语:智能是推理,还是更高级的检索?
talkie 的出现,揭开了一个困扰 AI 界已久的问题:目前的 AI 表现出的智能,到底有多少是推理能力,有多少只是对海量互联网答案的高效重组?
诺贝尔化学奖得主 Demis Hassabis 曾提出过一个终极拷问:
“爱因斯坦在 1915 年发表广义相对论,但相关的数学工具在 1911 年就已存在。那么,一个只读到 1911 年数据的模型,能不能独立推理出相对论?”
talkie 只是迈出了一小步,但它告诉我们:真正的智能,或许并不依赖于你见过多少新知识,而在于你能从旧知识中推导出多少真理。