别再傻等手动下载了!Python + Selenium 打造极速自动化网页流水线

graph TD    A[启动 Python 脚本] --> B(初始化 WebDriver);    B --> C{建立浏览器会话};    C --> D[导航至目标网页 URL];    D --> E[定位网页元素 DOM];    E --> F[执行交互操作];    F --> G[提取数据 / 下载文件];    G --> H(关闭浏览器进程);    F -. 页面跳转或刷新 .-> D;    style A fill:#e1f5fe,stroke:#03a9f4,stroke-width:2px    style H fill:#ffebee,stroke:#f44336,stroke-width:2px

pip install selenium webdriver-manager

from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.chrome.options import Optionsdef create_driver():    chrome_options = Options()    # 忽略无用的日志报错，保持控制台干净    chrome_options.add_experimental_option('excludeSwitches', ['enable-logging'])    # 禁用图片加载，大幅提升网页解析速度 (如果不需要看图的话)    chrome_options.add_argument('--blink-settings=imagesEnabled=false')    # 自动下载并配置对应版本的驱动    service = Service(ChromeDriverManager().install())    driver = webdriver.Chrome(service=service, options=chrome_options)    return driver# 测试一下if __name__ == "__main__":    driver = create_driver()    driver.get("https://www.python.org")    print(f"成功打开网页: {driver.title}")    driver.quit()

from selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport timedriver = create_driver()driver.get("https://www.python.org")# 找到搜索框 (通过 NAME 属性)search_box = driver.find_element(By.NAME, "q")# 清空输入框并输入关键字search_box.clear()search_box.send_keys("数据处理")# 模拟按下回车键search_box.send_keys(Keys.RETURN)# 稍微停顿一下看效果 (注意：后面我们会讲更好的等待方式)time.sleep(2)# 抓取搜索结果的标题 (通过 CSS 选择器)results = driver.find_elements(By.CSS_SELECTOR, ".list-recent-events li h3")for res in results:    print("找到结果:", res.text)driver.quit()

from selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECdriver = create_driver()driver.get("https://www.python.org")try:    # 设置最长等待时间为 10 秒    wait = WebDriverWait(driver, 10)    # 等待直到搜索框在这个页面上处于"可点击/可输入"状态    search_input = wait.until(        EC.element_to_be_clickable((By.NAME, "q"))    )    search_input.send_keys("自动化")    search_input.send_keys(Keys.RETURN)    # 再次等待，直到结果列表加载出来    first_result = wait.until(        EC.presence_of_element_located((By.CSS_SELECTOR, ".list-recent-events li"))    )    print("页面加载完毕，开始处理数据...")finally:    driver.quit()

def create_headless_driver():    options = Options()    options.add_argument('--headless') # 开启无头模式    options.add_argument('--disable-gpu') # 规避部分系统的兼容问题    options.add_argument('window-size=1920x1080') # 指定分辨率，防止某些响应式网页变形    service = Service(ChromeDriverManager().install())    driver = webdriver.Chrome(service=service, options=options)    return driverdriver = create_headless_driver()driver.get("https://www.python.org")# 哪怕没有界面，我们也可以截图来验证它确实在工作driver.save_screenshot("screenshot.png") print("后台截图已保存！")driver.quit()