Hi, 我是PaperBrew，目前专注于本硕博论文写作方法、文献阅读方法、学术规范科普\/:PaperBrew_Tang

研途千嶂，PaperBrew伴君求索

做涉农、乡村振兴或公共政策研究，最磨人的往往不是读文件，而是把中国政府网上的公文一条条找齐、对齐字段、落到可分析的表格里。

本文只做一件事：用 Python 调用中国政府网政策文件库的搜索接口，按关键词抓取近十年相关政策，补全详情与正文，导出一份结构化 Excel。示例主题是“农业 / 农村 / 乡村振兴 / 三农 / 粮食”，关键词换成你的题目即可复用。

目标站点：https://www.gov.cn/

搜索接口：https://sousuo.www.gov.cn/search-gov/data

一、先看清：这不是“扒整页 HTML”，而是调搜索接口

打开中国政府网政策检索，按 F12 → Network，输入关键词搜索，会看到请求打到：

https://sousuo.www.gov.cn/search-gov/data

返回的是 JSON，不是一整页排好版的列表。这意味着技术路线是：

1. 带参数 GET 搜索接口，翻页拿标题、发文机关、发文字号、日期、链接；

2. 用链接去重，再按时间窗过滤；

3. 逐条打开详情页，解析元数据表与正文；

4. 按时间线排序，写入 Excel。

比静态列表页多一步“读接口”，但字段更干净，也更适合正式研究样本框。

二、环境与参数：先把时间窗和关键词定死

import re  import time  from datetime import datetime  from pathlib import Path  import pandas as pd  import requests  from bs4 import BeautifulSoup  SEARCH_API = "https://sousuo.www.gov.cn/search-gov/data"KEYWORDS = ["农业", "农村", "乡村振兴", "三农", "粮食"]  

以写作当天为终点，往前十年（按需修改）

END_DATE = datetime(2026, 7, 29)  START_DATE = datetime(2016, 7, 29)  DELAY = 1.0 # 详情页间隔，降低对服务器压力  OUT_FILE = Path.home() / "Desktop" / "中国政府网_农业政策_近十年.xlsx"SESSION = requests.Session()  SESSION.headers.update(  {  "User-Agent": (  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ""AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/120.0.0.0 Safari/537.36"),  "Referer": "https://www.gov.cn/",  }  )

依赖安装：

pip install requests beautifulsoup4 pandas openpyxl

注意三点：带上合理的 User-Agent 与 Referer；详情请求之间留 DELAY；关键词列表按课题改，不要一次塞几十个无关词。

三、第一步：搜索接口翻页，拼出政策目录

核心参数含义可以这样理解：

def search_page(keyword: str, page: int, page_size: int = 50) -> list[dict]:  params = {  "t": "zhengcelibrary",  "q": keyword,  "timetype": "5",  "mintime": START_DATE.strftime("%Y-%m-%d"),  "maxtime": END_DATE.strftime("%Y-%m-%d"),  "sort": "pubtime",  "sortType": "1",  "searchfield": "title",  "p": str(page),  "n": str(page_size),  "type": "gwyzcwjk",  }  data = SESSION.get(SEARCH_API, params=params, timeout=30).json()  items = (  data.get("searchVO", {})  .get("catMap", {})  .get("gongwen", {})  .get("listVO", [])  or []  )  rows = []  for it in items:  title = re.sub(r"<[^>]+>", "", it.get("title") or "").strip()  url = (it.get("url") or "").strip()  if not title or not url:  continuepub = (it.get("pubtimeStr") or "").replace(".", "-")  rows.append(  {  "政策名称": title,  "出文单位": (it.get("puborg") or "").strip(),  "发文字号": (it.get("pcode") or "").strip(),  "主题分类": (it.get("childtype") or "").strip(),  "索引号": (it.get("index") or "").strip(),  "发布日期": pub,  "链接": url,  }  )  return rows

多关键词检索后，同一公文常被不同词命中，必须用链接去重。接口一般按时间倒序；当本页最旧一条已经早于起始年，可以提前停翻，少打无效请求。

def collect() -> list[dict]:  """多关键词翻页 → 去重 → 十年窗口过滤 → 按时间线从早到晚。"""merged = {}  for kw in KEYWORDS:  print(f"搜索：{kw}")  for page in range(1, 20): # 每词最多翻 20 页，可按题调整  rows = search_page(kw, page)  if not rows:  breakfor row in rows:  merged[row["链接"]] = row  oldest = parse_date(rows[-1]["发布日期"])  if oldest and oldest < START_DATE:  breaktime.sleep(0.4)  rows = [row for row in merged.values() if in_range(row["发布日期"])]  rows.sort(key=lambda x: parse_date(x["发布日期"]) or datetime.min)  return rows

日期解析写成小函数即可：兼容 2020-01-01、2020.01.01、2020年1月1日 等常见写法，再判断是否落在 [START_DATE, END_DATE]。

四、第二步：进详情页，补元数据与正文

搜索结果里已有标题、链接、大致日期；正式分析还需要详情页里的索引号、发文机关、成文日期，以及正文全文。

详情页元数据多在表格单元格中，标签形如“索引号”“主题分类”“发文机关”“成文日期”“发文字号”“发布日期”。正文常见容器：