Python 网络爬虫篇:从数据采集到 AI 分析

https://example.com/robots.txt

User-agent: *Disallow: /search/Disallow: /cart/Allow: /books/bestsellers/Sitemap: https://example.com/sitemap.xml

pip install requests beautifulsoup4 pandas

import timeimport requestsimport pandas as pdfrom bs4 import BeautifulSoupBASE_URL = "http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-"HEADERS = {    "User-Agent": "Mozilla/5.0"}MAX_PAGE = 3SLEEP_SECONDS = 5def fetch_and_parse(url, page_no):    try:        resp = requests.get(url, headers=HEADERS, timeout=10)        time.sleep(SLEEP_SECONDS)        if resp.status_code != 200:            print(f"第 {page_no} 页请求失败，状态码：{resp.status_code}")            return []        resp.encoding = resp.apparent_encoding        soup = BeautifulSoup(resp.text, "html.parser")        title_text = soup.title.get_text(strip=True) if soup.title else ""        if "对不起" in title_text or "暂时没有找到" in soup.get_text():            print(f"第 {page_no} 页返回异常页面，已停止解析")            return []        items = soup.find_all("li", class_="line")        page_data = []        for item in items:            try:                name_div = item.find("div", class_="name")                book_link = name_div.find("a") if name_div else None                title = book_link.get("title", "").strip() if book_link else ""                detail_url = book_link.get("href", "").strip() if book_link else ""                publisher_info = item.find_all("div", class_="publisher_info")                author = "未知"                if publisher_info:                    author_links = publisher_info[0].find_all("a")                    if author_links:                        author = author_links[0].get_text(strip=True)                price_tag = item.find("span", class_="price_n")                price = price_tag.get_text(strip=True) if price_tag else ""                if title:                    page_data.append({                        "书名": title,                        "作者": author,                        "价格": price,                        "详情页": detail_url                    })            except Exception:                continue        return page_data    except Exception as e:        print(f"第 {page_no} 页请求异常：{e}")        return []if __name__ == "__main__":    results = []    print(f"开始采集，计划页数：{MAX_PAGE}")    for page in range(1, MAX_PAGE + 1):        print(f"正在处理第 {page} 页")        url = BASE_URL + str(page)        results.extend(fetch_and_parse(url, page))    if results:        df = pd.DataFrame(results)        df.to_csv("dangdang_bestsellers.csv", index=False, encoding="utf-8-sig")        print(f"处理完成，共 {len(results)} 条，已保存为 dangdang_bestsellers.csv")    else:        print("本次未获取到有效数据")

import pandas as pddef build_prompt(book_name, note):    return f"请用不超过3句话，总结《{book_name}》可能吸引读者关注的点：{note}"if __name__ == "__main__":    df = pd.read_csv("dangdang_bestsellers.csv")    for i in range(min(5, len(df))):        book_name = df.loc[i, "书名"]        note = "这里建议使用自己整理的简短描述，而不是直接批量使用网页长文本内容。"        prompt = build_prompt(book_name, note)        print(prompt)