历史档案“活”起来:如何用 Python 智能提取多栏排版 PDF?

pip install pdfminer.six

import osimport refrom pdfminer.high_level import extract_pagesfrom pdfminer.layout import LTTextContainer, LAParams# ================= 核心配置区域 =================# 1. 物理裁剪 (坐标过滤)：用于切除页眉 (Header) 和页脚 (Footer)TOP_LIMIT = 0.85    # 只保留高度 85% 以下的内容BOTTOM_LIMIT = 0.10 # 只保留高度 10% 以上的内容# 2. 布局分析参数# line_margin: 行距容忍度，0.5 是处理多栏报纸的最佳实践，防止跨栏串行LAPARAMS = LAParams(line_margin=0.5, word_margin=0.1, boxes_flow=0.5)# ===========================================def is_noise_line(text):    """过滤器：判断一行字是不是垃圾信息"""    text = text.strip()    # 1. 去掉虚拟报头元数据 (示例：VOL., NO. 等)    if re.search(r'^(VOL\.|PRICE|NO\.|TRIAL NO)', text, re.IGNORECASE): return True    # 2. 去掉网址    if "http://" in text or "www." in text: return True    # 3. 去掉单独的页码指引    if re.match(r'^Page\s+\d+$', text, re.IGNORECASE): return True    # 4. 去掉单独的日期行    if re.search(r'(Monday|Tuesday|Wednesday|Thursday|Friday|Saturday|Sunday)', text, re.IGNORECASE):        if re.search(r'\d{4}', text): return True    return Falsedef clean_and_merge_paragraphs(text):    """重组器：将碎行拼接为完整段落"""    if not text: return ""    # 1. 修复连字符断词 (develop-\n ment -> development)    text = re.sub(r'(\w+)-\s*[\n\r]+\s*(\w+)', r'\1\2', text)    lines = text.split('\n')    merged_text = ""    for line in lines:        line = line.strip()        if not line: continue        if merged_text == "":            merged_text = line        elif merged_text.endswith('-'):            merged_text = merged_text[:-1] + line        else:            # 智能拼接逻辑            if merged_text[-1] not in ['.', '!', '?', '"']:                merged_text += " " + line            else:                merged_text += " " + line    return merged_textdef process_folder(folder_path):    pdf_files = [f for f in os.listdir(folder_path) if f.lower().endswith(".pdf")]    if not pdf_files:        print("❌ 未找到 PDF 文件")        return    for filename in pdf_files:        pdf_path = os.path.join(folder_path, filename)        txt_path = os.path.splitext(pdf_path)[0] + ".txt"        print(f"正在处理: {filename} ...")        full_text_list = []        try:            for page_layout in extract_pages(pdf_path, laparams=LAPARAMS):                page_height = page_layout.height                page_blocks = []                for element in page_layout:                    if isinstance(element, LTTextContainer):                        # --- 坐标过滤 ---                        block_y_center = (element.y0 + element.y1) / 2                        relative_y = block_y_center / page_height                        if relative_y > TOP_LIMIT or relative_y < BOTTOM_LIMIT:                            continue                        # --- 内容清洗 ---                        raw_text = element.get_text()                        clean_lines = [line for line in raw_text.splitlines()                                        if len(line.strip()) >= 2 and not is_noise_line(line)]                        if clean_lines:                            block_content = "\n".join(clean_lines)                            page_blocks.append(clean_and_merge_paragraphs(block_content))                full_text_list.append("\n\n".join(page_blocks))            with open(txt_path, "w", encoding="utf-8") as f:                f.write("\n\n--- Page Break ---\n\n".join(full_text_list))            print(f"✅ 完成")        except Exception as e:            print(f"❌ 错误: {e}")if __name__ == "__main__":    process_folder(os.getcwd())    input("按回车键退出...")

if "咨询热线" in text: return True