Python+AI数据分析实战:带你玩转数据标注、图像识别与端云协作

# 创建 Modelfilecat > ~/Modelfile <<EOFFROM glm-ocr:latestPARAMETER num_ctx 16384PARAMETER temperature 0TEMPLATE {{ .Prompt }}RENDERER glm-ocrPARSER glm-ocrEOF# 用这个配置重新创建模型ollama create glm-ocr-fix -f ~/Modelfile

def build_prompt(abstract):    """根据书籍摘要构造分类请求，要求返回JSON。"""    return (        "请根据以下书籍摘要完成两个任务：\n"        "1. 判断该书属于哪个大学科门类（从以下选一个：哲学、经济学、法学、教育学、"        "文学、历史学、理学、工学、农学、医学、管理学、艺术学、军事学）\n"        "2. 提取3个关键词，方便普通读者理解该书主题\n\n"        f"摘要：{abstract}\n\n"        "请仅输出JSON，格式如下，不要输出任何其他内容：\n"        '{"学科": "门类", "关键词": ["词1", "词2", "词3"]}'    )

import ollamaimport jsonimport reMODEL = "gemma3:270m"def annotate(abstract):    """调用ollama本地模型进行标注，返回字典，失败返回None。"""    prompt = build_prompt(abstract)    resp = ollama.chat(model=MODEL, messages=[{"role": "user", "content": prompt}])    text = resp["message"]["content"].strip()    # 尝试直接解析JSON    try:        return json.loads(text)    except json.JSONDecodeError:        pass    # 兜底：提取```json ... ```代码块中的内容    m = re.search(r'```(?:json)?\s*(\{.*?\})\s*```', text, re.DOTALL)    if m:        try:            return json.loads(m.group(1))        except json.JSONDecodeError:            pass    return None

df["学科门类"] = ""df["通俗关键词"] = ""for i, row in df.iterrows():    result = annotate(str(row["摘要"]))    if result:        df.at[i, "学科门类"] = result.get("学科", "未识别")        df.at[i, "关键词"] = ", ".join(result.get("关键词", []))    else:        df.at[i, "学科门类"] = "未识别"    if (i + 1) % 10 == 0:        print(f"已标注 {i + 1}/{len(df)}")

stats = df["学科门类"].value_counts()stats_text = "【图书馆藏书学科分布统计】\n"for cat, count in stats.items():    stats_text += f"  {cat}：{count}本（{count / len(df) * 100:.0f}%）\n"print(stats_text)

【图书馆藏书学科分布统计】  工学：59本（59%）  管理学：14本（14%）  文学：10本（10%）  文史：4本（4%）  哲学：3本（3%）  教育学：2本（2%）  法学：2本（2%）  农学：1本（1%）  医学：1本（1%）  未识别：1本（1%）  文学院：1本（1%）  文理：1本（1%）  理学：1本（1%）  ...

analysis_prompt = (    "以下是一所高校图书馆的藏书学科分布数据：\n\n"    f"{stats_text}\n"    "请用200字左右分析该馆藏的学科特色、覆盖情况，并给出优化建议。")analysis_resp = ollama.chat(    model=MODEL,    messages=[{"role": "user", "content": analysis_prompt}],)analysis = analysis_resp["message"]["content"].strip()print("\n===== LLM生成的馆藏分析 =====")print(analysis)

根据图书馆藏书学科分布统计，工学、管理学和文学分别占全馆藏书总数的59%，管理学和文史占38%，人文社科类占比约41%。而医学、法学等专业类别在各门类中占据了较高的比例。### 学科特色分析- 工学：以工学学科为主，涵盖多个领域如机械工程、软件工程等，显示出较强的技术背景和应用能力。- 管理学：管理学涵盖了商业管理和行政管理等多个方面，强调政策制定和执行层面的理论与实践。- 文学：文学学科包括汉语言文学、新闻学、传播学等，注重对文本的解读和分析，具备丰富的文化内涵和社会价值。- 文史：文史涵盖历史学、文学、哲学等领域，重视传统文化和现代思想的交融，反映了一个国家的文化底蕴。### 覆盖情况该馆藏书主要涵盖了工学、管理学和文学等多个专业领域，并且各个类别之间的平衡性较好。然而，在某些细分领域如医学、法学等学科中，存在一些 较为薄弱的分类。例如，对于“法律”这样的主题，由于其复杂性和多样性的特点，可能需要进一步加强与该领域的关联。### 优化建议1. **完善专业领域划分**：针对“法律”、“医学”等专业领域，增加与其相关的其他学科或类目，以提高馆藏的专业覆盖范围和深度。2. **细化分类标准**：在现有的学科类别中加入更多细分的科目，如将历史学、哲学与法学相结合，形成一个更加全面的学术体系。3. **优化学科布局**：根据图书馆馆藏实际情况，合理规划各类资源的分布，确保每个专业领域都有相对独立的图书馆空间和信息流。通过上述措施，可以更好地展示该馆的学术特色，并提升其服务质量，吸引更多的读者群体。

import base64from io import BytesIOfrom PIL import Imageimport ollamaOCR_MODEL = "glm-ocr-fix"def image_to_base64(img: Image.Image, fmt: str = "PNG") -> str:    """将PIL Image转换为Base64字符串，供Ollama API使用。"""    buffer = BytesIO()    img.save(buffer, format=fmt)    buffer.seek(0)    return base64.b64encode(buffer.read()).decode("utf-8")def ocr_image(img: Image.Image, page_num: int) -> str:    """使用本地glm-ocr模型对图片进行文字识别。"""    img_b64 = image_to_base64(img)    prompt = (        "请对图片中的所有文字进行完整识别，"        "按照原始布局顺序输出全部文本内容，"        "不要遗漏任何字段，不要添加解释或总结，"        "直接输出识别到的文字。"    )    response = ollama.chat(        model=OCR_MODEL,        messages=[{            "role": "user",            "content": prompt,            "images": [img_b64],        }],    )    text = response["message"]["content"].strip()    print(f"  [OCR] 第 {page_num} 张识别完成，字符数: {len(text)}")    return text

img = Image.open("模拟简历1.png")ocr_text = ocr_image(img, 1)print(ocr_text[:500])

LLM_MODEL = "glm4:latest"FIELDS = [    "姓名", "电话", "邮箱", "求职岗位", "学历",    "毕业院校", "工作经历", "项目经历", "核心技能", "个人评价",]def extract_fields(ocr_text):    """将OCR文本交给LLM提取统一的结构化字段，返回字典。"""    prompt = (        "以下是一份简历的文字内容，请提取以下字段并以JSON格式输出，"        "不要输出任何其他内容：\n\n"        '{"姓名": "", "电话": "", "邮箱": "", "求职岗位": "", '        '"学历": "", "毕业院校": "", "工作经历": "", "项目经历": "", '        '"核心技能": "", "个人评价": ""}\n\n'        "注意事项：\n"        "- 工作经历和项目经历将多段经历合并为一段概述文字\n"        "- 核心技能用左斜杠分隔\n"        "- 找不到的字段填：未知"        f"\n简历内容：\n{ocr_text}"    )    resp = ollama.chat(        model=LLM_MODEL,        messages=[{"role": "user", "content": prompt}],    )    text = resp["message"]["content"].strip()    try:        return json.loads(text)    except json.JSONDecodeError:        pass    # 兜底逻辑（同第一章）    m = re.search(r'```(?:json)?\s*(\{.*?\})\s*```', text, re.DOTALL)    if m:        try:            return json.loads(m.group(1))        except json.JSONDecodeError:            pass    return None

resumes = []for idx, filename in enumerate(["模拟简历1.png", "模拟简历3.png"]):    print(f"\n--- 处理: {filename} ---")    # 第一步：OCR识别    img = Image.open(filename)    ocr_text = ocr_image(img, idx + 1)    # 第二步：LLM结构化提取    info = extract_fields(ocr_text)    if info:        row = {field: info.get(field, "未知") for field in FIELDS}        resumes.append(row)        print(f"  解析成功：{row['姓名']}")    else:        print(f"  解析失败：{filename}，跳过")# 合并为DataFrame并输出Exceldf = pd.DataFrame(resumes, columns=FIELDS)df.to_excel("简历汇总.xlsx", index=False)print(f"\n共处理 {len(resumes)} 份简历，已保存至 简历汇总.xlsx")