最近在做知识库的东西,觉得RAG太low了,想搞点好玩的。发现LLM-wiki真不错。
llm-wiki是前 OpenAI 创始成员、特斯拉前 AI 总监 Andrej Karpathy 26年4月份提出的 LLM Wiki 方法论。原始链接在这里:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f。
只是一个idea,没有代码。后面社区也有一些代码,我感觉写的不是很好,就自己写了一套。
后来,我又把这套东西封装成了可以在线上传文档,自动构建wiki,然后,提供在线基于知识库回答问题的httpserver。
llm-wiki和RAG的核心优势
RAG本质是边翻书边考试,llm-wiki是读书的时候记好笔记。wiki你可以理解为一个知识图谱,LLM-wiki的意思就是,这个知识图谱是基于大模型构建的。
llm-wiki你就记住一点:他是一个自进化、自构建的知识图谱。
效果非常好。大家都可以尝试。
开源地址:
https://github.com/scalaboy/llm-wiki-python
有问题欢迎群里沟通。