ollama run llama3

pip install ollama faiss-cpu sentence-transformers

# data/docs.txtRAG 是一种结合检索和生成的技术。Ollama 是一个本地运行大模型的工具。Python 是一种流行的编程语言。

# rag/embedding.pyfrom sentence_transformers import SentenceTransformermodel = SentenceTransformer("all-MiniLM-L6-v2")def embed(texts):    return model.encode(texts)

# rag/vector_store.pyimport faissimport numpy as npclass VectorStore:    def __init__(self, dim):        self.index = faiss.IndexFlatL2(dim)        self.texts = []    def add(self, embeddings, texts):        self.index.add(np.array(embeddings))        self.texts.extend(texts)    def search(self, query_embedding, k=3):        D, I = self.index.search(query_embedding, k)        return [self.texts[i] for i in I[0]]

# rag/retriever.pyfrom .embedding import embeddef retrieve(query, store):    q_emb = embed([query])    return store.search(q_emb)

# rag/generator.pyimport ollamadef generate_answer(query, context):    prompt = f"""请基于以下内容回答问题：{context}问题：{query}"""    res = ollama.chat(        model="llama3",        messages=[{"role": "user", "content": prompt}],    )    return res["message"]["content"]

# main.pyfrom rag.embedding import embedfrom rag.vector_store import VectorStorefrom rag.retriever import retrievefrom rag.generator import generate_answer# 1. 读取数据with open("data/docs.txt", "r", encoding="utf-8") as f:    docs = f.readlines()# 2. 向量化embeddings = embed(docs)# 3. 构建向量库store = VectorStore(len(embeddings[0]))store.add(embeddings, docs)# 4. 交互while True:    query = input(">>> ")    results = retrieve(query, store)    context = "\n".join(results)    answer = generate_answer(query, context)    print("\n答案：", answer)

python main.py