Python爬取百度新闻

import requestsfrom bs4 import BeautifulSoupdef crawl_baidu_news(keyword):    # 构造百度新闻搜索URL    url = f"http://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&word={keyword}"    # 添加请求头，模拟浏览器访问，避免被反爬    headers = {        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"    }    try:        # 发送GET请求，设置超时时间        response = requests.get(url, headers=headers, timeout=10)        # 检查响应状态码，非200则抛出异常        response.raise_for_status()        # 解析HTML页面        page = BeautifulSoup(response.content, 'html.parser')        # 查找所有新闻标题的h3标签        results = page.find_all("h3", class_="news-title_1YtI1")  # 补充class定位更精准        search_results = []        for result in results:            try:                # 提取标题并去除首尾空白                title = result.text.strip()                # 提取链接                link = result.a['href']                # 将结果存入列表                search_results.append({"title": title, "link": link})                # 打印结果，格式更清晰                print(f"标题：{title}\n链接：{link}\n{'*'*20}\n")            except KeyError:                # 跳过无链接的异常项                continue        return search_results  # 返回爬取结果    except requests.exceptions.RequestException as e:        # 捕获所有请求相关异常并提示        print(f"请求出错：{e}")        return []if __name__ == "__main__":    # 搜索指定关键词的新闻    keyword = "2026年最新ai"    print(f"正在爬取关键词「{keyword}」的百度新闻...\n")    news_results = crawl_baidu_news(keyword)    # 可选：打印爬取结果的汇总    if news_results:        print(f"共爬取到 {len(news_results)} 条新闻")    else:        print("未爬取到任何新闻内容")

正在爬取关键词「2026年最新ai」的百度新闻...标题：法巴发布2026年AI股首选名单 首推光模块、存储芯片及硬盘供应链龙头链接：https://baijiahao.baidu.com/s?id=1855008903061064283&wfr=spider&for=pc********************标题：AI增长盛宴仍在继续!法巴发布2026年AI股首选名单,首推光模块...链接：https://baijiahao.baidu.com/s?id=1855000851984925067&wfr=spider&for=pc********************标题：2026年度AI最佳场景渗透案例评选启动丨招募链接：https://baijiahao.baidu.com/s?id=1854984398333875528&wfr=spider&for=pc********************标题：AI时代的对话:达沃斯2026把脉全球经济未来链接：https://baijiahao.baidu.com/s?id=1855023688065224088&wfr=spider&for=pc********************标题：2026年最新AI修图软件:三款工具提升摄影后期效率链接：http://news.10jqka.com.cn/20260122/c674226695.shtml********************标题：2026年人工智能十大趋势链接：https://baijiahao.baidu.com/s?id=1854073826888844470&wfr=spider&for=pc********************标题：2025下半年行业云+AI最新评估结果公布!2026年评估正式启动!链接：http://baijiahao.baidu.com/s?id=1854388604077562803&wfr=spider&for=pc********************标题：AI浪潮是时代之火!张忆东等最新研判:2026年关注这些机会链接：https://baijiahao.baidu.com/s?id=1851749847834460818&wfr=spider&for=pc********************标题：特稿丨展望全球人工智能2026年演进新局链接：http://news.china.com.cn/2026-01/20/content_118290047.shtml********************标题：灵宇宙携家庭AI伙伴“小方机”惊艳CES 2026,引领北美阿尔法世代...链接：https://g.pconline.com.cn/x/2063/20631012.html********************共爬取到 10 条新闻