Python爬虫零基础实战⑤:Selenium自动化浏览器爬虫,完美破解JS动态渲染、Ajax异步加载数据,搞定requests抓不到的页面

pip install selenium -i https://pypi.douban.com/simple/

from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# 配置浏览器参数chrome_options = Options()# 可选：关闭浏览器自动测试提示（防反爬）chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])chrome_options.add_experimental_option("useAutomationExtension", False)# 初始化谷歌浏览器driver = webdriver.Chrome(options=chrome_options)# 设置页面加载超时时间driver.set_page_load_timeout(10)# 打开目标网址driver.get("https://www.baidu.com")# 打印页面渲染完成后的源码（可直接解析动态数据）print(driver.page_source)# 关闭浏览器driver.quit()

from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionschrome_options = Options()# 开启无头模式（无界面运行）chrome_options.add_argument("--headless=new")chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])chrome_options.add_experimental_option("useAutomationExtension", False)driver = webdriver.Chrome(options=chrome_options)driver.get("https://www.baidu.com")print("页面标题：", driver.title)driver.quit()

import time # 强制等待2秒，等待页面加载time.sleep(2)

# 全局设置：最长等待5秒，元素加载完成立即执行 driver.implicitly_wait(5)

from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC# 等待10秒，直到指定元素加载完成WebDriverWait(driver, 10).until(    EC.presence_of_element_located((By.CLASS_NAME, "item-list")))

from selenium.webdriver.common.by import By

# 获取元素文本内容element.text# 获取链接href属性element.get_attribute("href")# 获取图片src地址element.get_attribute("src")

from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECimport time# 浏览器配置chrome_options = Options()chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])chrome_options.add_experimental_option("useAutomationExtension", False)def crawl_dynamic_page(url):    # 初始化浏览器    driver = webdriver.Chrome(options=chrome_options)    driver.implicitly_wait(5)    try:        # 打开页面        driver.get(url)        # 精准等待列表元素加载完成        WebDriverWait(driver, 10).until(            EC.presence_of_element_located((By.CLASS_NAME, "news-item"))        )        # 获取所有动态渲染的列表数据        item_list = driver.find_elements(By.CLASS_NAME, "news-item")        print(f"✅ 成功加载{len(item_list)}条动态数据")        # 遍历提取数据        for index, item in enumerate(item_list, 1):            title = item.text.strip()            link = item.find_element(By.TAG_NAME, "a").get_attribute("href")            print(f"{index}. 标题：{title}")            print(f"    链接：{link}\n")    except Exception as e:        print("❌ 爬取异常：", e)    finally:        # 关闭浏览器        driver.quit()# 执行爬取if __name__ == "__main__":    target_url = "此处替换为动态网页地址"    crawl_dynamic_page(target_url)

driver.find_element(By.ID, "username").send_keys("账号")

driver.find_element(By.ID, "submit-btn").click()

# 滚动到页面底部 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(1)

element.clear()