当前位置:首页>python>Python 线程池并发与工厂模式:构建零卡顿数据采集引擎

Python 线程池并发与工厂模式:构建零卡顿数据采集引擎

  • 2026-08-18 23:11:49
Python 线程池并发与工厂模式:构建零卡顿数据采集引擎
直接运行版本
数字化转型的浪潮中,最严峻挑战之一,莫过于「如何高效、稳定地获取并处理海量外部数据」。在业务自动化初期,往往依赖人工手动抓取,或者编写单线程的简单脚本。然而,随着业务规模的扩大,传统的线性处理迅速遭遇瓶颈:界面频频假死、采集效率低下、代码失控难以维护。
本文将以完整的 Python 数据并发采集系统源码为切入点,深度剖析如何通过『注册式工厂模式(Registry Factory Pattern)』『线程池并发(ThreadPoolExecutor)』以及『异步消息队列(Queue & Event Loop)』三大核心技术架构,将复杂的代码转化为高效运转的数据自动化引擎。


一、 架构标准化:UIConfig 与注册式工厂模式

开发与自动化工具构建中,最忌「硬编码(Hardcoding)」与「重复造轮子」。如果每个界面控件都单独配置颜色、字体和边距,不仅代码冗长,而且后续的品牌化定制或样式调整举步维艰。
该系统引入基于 dataclass 的中央配置对象 UIConfig,并结合『注册式工厂模式』。

1. 中央配置控制(UIConfig)

通过 Python 的 @dataclass 装饰器,将系统所有的设计语言(字体、间距、状态颜色)统一收口:
@dataclassclass UIConfig:    font_normal: tuple = ("Microsoft YaHei UI"10)    font_title: tuple = ("Microsoft YaHei UI"12"bold")    font_log: tuple = ("Consolas"9)    entry_width: int = 24    combo_width: int = 22    padx: int = 8    pady: int = 6    button_pady: int = 8    label_fg: str = "#222222"    status_ok: str = "#2f855a"    status_warn: str = "#dd6b20"    status_error: str = "#c53030"
该设计的价值在于:管理标准的集中化。当企业视觉识别系统(VI)变更时,仅修改 UIConfig 参数,即可一秒更新系统。

2. 注册式工厂模式(RegistryWidgetFactory)

传统工厂模式通常采用庞大的 if-elif-else 结构,难以扩展。本架构采用扩展性强且支持装饰器注册的 RegistryWidgetFactory
class RegistryWidgetFactory:    """扩展版注册式 Tkinter 工厂,支持装饰器注册与动态控制"""    def __init__(self, config: UIConfig):        self.config = config        self._creators = {}        self._widgets = []        self.register_defaults()    def register(self, widget_type: str, creator=None):        """支持函数调用 register("type", fn) 或装饰器 @register("type")"""        if creator is None:            def decorator(fn):                if not callable(fn):                    raise TypeError("creator 必须是可调用对象")                self._creators[widget_type] = fn                return fn            return decorator        if not callable(creator):            raise TypeError("creator 必须是可调用对象")        self._creators[widget_type] = creator    def create(self, widget_type: str, parent, **kwargs):        creator = self._creators.get(widget_type)        if creator is None:            available = ", ".join(sorted(self._creators.keys()))            raise KeyError(f"未注册控件类型: {widget_type},可用类型: {available}")        return creator(factory=self, parent=parent, **kwargs)    def set_all_state(self, state: str):        """批量设置控件状态(如抓取过程中禁用按钮/输入框)"""        for widget in self._widgets:            try:                if hasattr(widget, "configure"):                    widget.configure(state=state)            except tk.TclError:                pass

引申观点

「注册式工厂模式」在管理就是『标准化操作程序(SOP)与可拓展的业务插件系统』。
  • 低耦合:将界面组件的逻辑与主业务逻辑彻底解耦。新功能的加入只需通过注册机制接入,无需改动现有核心代码。
  • 状态管控能力:透过 set_all_state ,系统具备『一键管控』能力。后台任务启动时,前台所有输入项可被一键锁定,杜绝用户重复点击导致系统乱序与资源浪费。


二、 性能飞跃:ThreadPoolExecutor 突破单线程瓶颈

数据抓取与处理本质上属于I/O 密集型(I/O-Bound)任务。在单线程模型,程序等待网络响应(HTTP 请求)时,CPU 完全闲置。若抓取 100 页数据,每页耗 2 秒,线性累计高达 200 秒。
本系统采用 concurrent.futures.ThreadPoolExecutor 并发线程池,将线性串行任务升级并行并发任务。

1. 单页采集逻辑解耦

先将单页采集抽象为独立的函数 fetch_single_page
def fetch_single_page(page_number: int):    """单页采集任务"""    url = f"https://gz.lianjia.com/ershoufang/pg{page_number}/"    headers = {        "User-Agent": (            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "            "AppleWebKit/537.36 (KHTML, like Gecko) "            "Chrome/120.0.0.0 Safari/537.36"        )    }    try:        response = requests.get(url, headers=headers, timeout=10)        if response.status_code != 200:            return page_number, [], f"请求失败,HTTP 状态码: {response.status_code}"        soup = BeautifulSoup(response.text, "html.parser")        rows = []        for house_info in soup.find_all("li", {"class""clear LOGVIEWDATA LOGCLICKDATA"}):            row = {}            pos = house_info.find("div", {"class""positionInfo"})            house = house_info.find("div", {"class""houseInfo"})            follow = house_info.find("div", {"class""followInfo"})            unit_p = house_info.find("div", {"class""unitPrice"})            total_p = house_info.find("div", {"class""priceInfo"})            row["区域"] = pos.get_text(strip=Trueif pos else ""            row["房型"] = house.get_text(strip=Trueif house else ""            row["关注"] = follow.get_text(strip=Trueif follow else ""            row["单价"] = unit_p.get_text(strip=Trueif unit_p else ""            row["总价"] = total_p.get_text(strip=Trueif total_p else ""            rows.append(row)        return page_number, rows, None    except Exception as e:        return page_number, [], str(e)

2. 线程池调度与任务完成监听

通过 ThreadPoolExecutor 与 as_completed,系统可动态分发任务并实时获取先完成的任务结果:
def _async_task(self, start_p: int, end_p: int, workers: int, save_path: str):    """在后台线程中调度 ThreadPoolExecutor 进行并发爬取"""    all_data = []    total_pages = end_p - start_p + 1    completed_count = 0    self.log(f"开始抓取 Task:页码 {start_p} ~ {end_p},线程数 {workers}")    # 使用 ThreadPoolExecutor 进行并发    with ThreadPoolExecutor(max_workers=workers) as executor:        future_to_page = {            executor.submit(fetch_single_page, page): page            for page in range(start_p, end_p + 1)        }        for future in as_completed(future_to_page):            page_num, page_data, err = future.result()            completed_count += 1            if err:                self.log(f"第 {page_num} 页抓取失败: {err}")            else:                all_data.extend(page_data)                self.log(f"第 {page_num} 页成功抓取 {len(page_data)} 条记录 ({completed_count}/{total_pages})")

性能对比与效益

处理模式
100 页数据耗时(预估)
CPU 利用率
错误容忍度
业务响应速度
单线程串行~ 200 秒极低(大部分时间处于等待)单点故障导致整体中断极慢,无法满足实时决策
并发线程池(8 线程)~ 25 秒高(高效利用等待空隙)单页失败不影响其余页极快,呈现指数级提升

引申观点

「线程池并发机制」对应运营中的『矩阵化平行作业』。面对庞大任务时,管理者不应加长单人工时,而是建立规范的平行处理流程。将任务切割为无依赖关系的子单元,交由并发单元同时处理,事半功倍。


三、 线程安全与用户体验:Queue 与事件轮询机制

图形用户界面(GUI,如 Tkinter、PyQt)有规律:「主事件循环(Main Thread)绝对不能被阻塞」。如径直在主线程执行耗时的网络请求,界面立刻「无响应」假死,很难受。
此外,「跨线程直接修改 GUI 组件」在绝大多数 GUI 框架中都不安全,极易引发未可逆料的程序崩溃。
为妥善解决此矛盾,本架构设计『线程隔离 + Queue 异步消息队列 + after 定时轮询』的响应式交互体系。
class LianjiaScraperApp:    def __init__(self, root):        self.root = root        self.factory = RegistryWidgetFactory(UIConfig())        self.msg_queue = queue.Queue()  # 线程安全的队列        self.build_ui()        self.poll_queue()  # 启动主线程轮询    def log(self, message: str):        """工作线程将日志推入队列,非直接修改 UI"""        self.msg_queue.put(("LOG", message))    def poll_queue(self):        """主线程定时轮询日志队列,平滑更新 UI"""        while not self.msg_queue.empty():            msg_type, content = self.msg_queue.get()            if msg_type == "LOG":                self.log_area.configure(state="normal")                self.log_area.insert(tk.END, f"[{time.strftime('%H:%M:%S')}{content}\n")                self.log_area.see(tk.END)                self.log_area.configure(state="disabled")            elif msg_type == "STATUS":                self.status_var.set(content)            elif msg_type == "FINISH":                self.factory.set_all_state("normal")                messagebox.showinfo("完成", content)        # 100 毫秒后再次调用自己,保持界面流畅        self.root.after(100self.poll_queue)
+-------------------------------------------------------------------+|                        GUI Main Thread                            ||  +------------------+    poll_queue()     +--------------------+  ||  |   Tkinter UI     | <------------------ |  self.msg_queue    |  ||  |  (Never Blocked) |  (every 100ms Check)|  (Thread-Safe)     |  ||  +------------------+                     +--------------------+  |+-----------------------------------------------------^-------------+                                                      |                                                   .put()                                                      |+-----------------------------------------------------+-------------+|                     Worker Thread / ThreadPool                    ||  +-------------------------------------------------------------+  ||  | Task 1 | Task 2 | Task 3 | ... (Network I/O Execution)     |  ||  +-------------------------------------------------------------+  |+-------------------------------------------------------------------+
核心机制拆解:
  1. 工作线程(Worker Thread):负责耗时的网络请求与解析,不碰任何 UI 。所有的执行进度与状态,全打包为元组通过 msg_queue.put() 投递。
  2. 消息队列(Queue):作为工作线程与主线程之间的「防爆墙」与缓冲带,提供线程安全的数据传输。
  3. 主线程轮询(poll_queue):利用 root.after(100, ...) 在不阻塞界面的前提下,每隔 100 毫秒扫描一次队列,平滑更新界面控制台与状态栏。

机制分析

该设计体现管理的『前后台分离与异步通讯机制』。
  1. 前台(前瞻性决策层 / UI):必须时刻保持敏捷与响应状态,负责接待客户、接收指令。
  2. 后台(执行层 / Worker Thread):专注于高密度的重型劳动,不干扰前台运营。
  3. 通信桥梁(标准汇报机制 / Queue):后台定期提交进度报告,前台有节奏地调度展示。该架构有效降低部门间的干预摩擦,保证整体组织的稳健运行。


四、 完整自动化 ETL 闭环:从数据抓取到决策

不仅要获取数据,更要完成数据的清洗与结构化输出。本系统通过内置 pandas ,构建完整的ETL(Extract-Transform-Load)自动化闭环。
# 数据清洗与结构化导出逻辑if all_data:    try:        df = pd.DataFrame(all_data)        df.to_excel(save_path, index=False)        self.log(f"数据已成功保存至: {save_path}")        self.msg_queue.put(("STATUS""状态:采集完成"))        self.msg_queue.put(("FINISH"f"成功抓取 {len(all_data)} 条数据,已保存至:\n{save_path}"))    except Exception as e:        self.log(f"保存 Excel 异常: {e}")
ETL 流程架构:
  1. Extract(提取)requests 结合 BeautifulSoup 穿透页面,提取包含区域、房型、关注度、单价与总价的原始 HTML 结构。
  2. Transform(转换):用字典将数据标准化映射,清洗非结构化文本,消除空值影响。
  3. Load(加载):一键转为 pandas.DataFrame 并无缝导出为标准 .xlsx 文件,直接对接后续的 BI 或财务分析系统。

观点

「数据闭环才有价值。」堆积海量原始数据却无法转化为生产力,在于缺乏自动化 Transform 和 Load 的过程。将自动化采集与结构化导出整合为一键操作,能大幅减少决策数据准备周期,有助获得市场竞争的先机。


五、 完整源码

以下为基于上述架构理念构建的完整自动化工具源码。代码已包含完整的模块化配置、界面工厂、并发调度与错误处理逻辑:
import osimport queueimport threadingimport timefrom dataclasses import dataclassfrom concurrent.futures import ThreadPoolExecutor, as_completedimport tkinter as tkfrom tkinter import ttk, messagebox, filedialog, scrolledtextimport requestsfrom bs4 import BeautifulSoupimport pandas as pd# ==========================================# 1. 界面统一配置对象# ==========================================@dataclassclass UIConfig:    font_normal: tuple = ("Microsoft YaHei UI"10)    font_title: tuple = ("Microsoft YaHei UI"12"bold")    font_log: tuple = ("Consolas"9)    entry_width: int = 24    combo_width: int = 22    padx: int = 8    pady: int = 6    button_pady: int = 8    label_fg: str = "#222222"    status_ok: str = "#2f855a"    status_warn: str = "#dd6b20"    status_error: str = "#c53030"# ==========================================# 2. 基础控件与组合控件构建函数# ==========================================def create_label(factory, parent, text, row, column=0, **kwargs):    options = {"text": text, "font": factory.config.font_normal, "fg": factory.config.label_fg}    options.update(kwargs)    widget = tk.Label(parent, **options)    widget.grid(row=row, column=column, padx=factory.config.padx, pady=factory.config.pady, sticky="w")    return factory.remember(widget)def create_entry(factory, parent, row, column=1, textvariable=None, width=None, **kwargs):    options = {        "font": factory.config.font_normal,        "width": width or factory.config.entry_width,        "textvariable": textvariable,    }    options.update(kwargs)    widget = tk.Entry(parent, **options)    widget.grid(row=row, column=column, padx=factory.config.padx, pady=factory.config.pady, sticky="ew")    return factory.remember(widget)def create_button(factory, parent, text, command, row, column=0, columnspan=1):    widget = ttk.Button(parent, text=text, command=command)    widget.grid(        row=row,        column=column,        columnspan=columnspan,        padx=factory.config.padx,        pady=factory.config.button_pady,        sticky="ew",    )    return factory.remember(widget)def create_labeled_entry(factory, parent, label_text, row, variable=None, unit_text=""):    factory.create("label", parent, text=label_text, row=row, column=0)    entry = factory.create("entry", parent, row=row, column=1, textvariable=variable)    if unit_text:        factory.create("label", parent, text=unit_text, row=row, column=2)    return entrydef create_spinbox_row(factory, parent, label_text, row, variable, from_=1, to=100, step=1):    factory.create("label", parent, text=label_text, row=row, column=0)    spinbox = tk.Spinbox(        parent,        from_=from_,        to=to,        increment=step,        textvariable=variable,        width=factory.config.entry_width,        font=factory.config.font_normal,    )    spinbox.grid(row=row, column=1, padx=factory.config.padx, pady=factory.config.pady, sticky="ew")    return factory.remember(spinbox)def create_path_picker(factory, parent, label_text, row, variable):    """自定义控件:路径选择输入框 + 浏览按钮"""    factory.create("label", parent, text=label_text, row=row, column=0)    entry = factory.create("entry", parent, row=row, column=1, textvariable=variable)    def browse():        path = filedialog.asksaveasfilename(            defaultextension=".xlsx",            filetypes=[("Excel Files""*.xlsx"), ("All Files""*.*")],        )        if path:            variable.set(path)    btn = ttk.Button(parent, text="浏览...", width=8, command=browse)    btn.grid(row=row, column=2, padx=factory.config.padx, pady=factory.config.pady)    factory.remember(btn)    return entrydef create_status_badge(factory, parent, textvariable, level="ok"):    color_map = {        "ok": factory.config.status_ok,        "warn": factory.config.status_warn,        "error": factory.config.status_error,    }    widget = tk.Label(        parent,        textvariable=textvariable,        font=factory.config.font_normal,        fg="white",        bg=color_map.get(level, factory.config.status_ok),        padx=10,        pady=4,    )    widget.pack(anchor="w", padx=factory.config.padx * 3, pady=factory.config.pady)    return factory.remember(widget)def create_log_panel(factory, parent, height=8):    """自定义控件:实时日志展示面板"""    log_area = scrolledtext.ScrolledText(        parent, height=height, font=factory.config.font_log, state="disabled", bg="#1e1e1e", fg="#d4d4d4"    )    log_area.pack(fill="both", expand=True, padx=factory.config.padx * 2, pady=factory.config.pady)    return log_area# ==========================================# 3. 升级版注册式控件工厂类# ==========================================class RegistryWidgetFactory:    """扩展版注册式 Tkinter 工厂,支持装饰器注册与动态控制"""    def __init__(self, config: UIConfig):        self.config = config        self._creators = {}        self._widgets = []        self.register_defaults()    def register(self, widget_type: str, creator=None):        """支持函数调用 register("type", fn) 或装饰器 @register("type")"""        if creator is None:            def decorator(fn):                if not callable(fn):                    raise TypeError("creator 必须是可调用对象")                self._creators[widget_type] = fn                return fn            return decorator        if not callable(creator):            raise TypeError("creator 必须是可调用对象")        self._creators[widget_type] = creator    def create(self, widget_type: str, parent, **kwargs):        creator = self._creators.get(widget_type)        if creator is None:            available = ", ".join(sorted(self._creators.keys()))            raise KeyError(f"未注册控件类型: {widget_type},可用类型: {available}")        return creator(factory=self, parent=parent, **kwargs)    def remember(self, widget):        self._widgets.append(widget)        return widget    def set_all_state(self, state: str):        """批量设置控件状态(如抓取过程中禁用按钮/输入框)"""        for widget in self._widgets:            try:                if hasattr(widget, "configure"):                    widget.configure(state=state)            except tk.TclError:                pass    def register_defaults(self):        """注册内置基础控件"""        self.register("label", create_label)        self.register("entry", create_entry)        self.register("button", create_button)        self.register("labeled_entry", create_labeled_entry)        self.register("spinbox_row", create_spinbox_row)        self.register("path_picker", create_path_picker)        self.register("status_badge", create_status_badge)        self.register("log_panel", create_log_panel)# ==========================================# 4. 并发爬虫逻辑(ThreadPoolExecutor)# ==========================================def fetch_single_page(page_number: int):    """单页采集任务"""    url = f"https://gz.lianjia.com/ershoufang/pg{page_number}/"    headers = {        "User-Agent": (            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "            "AppleWebKit/537.36 (KHTML, like Gecko) "            "Chrome/120.0.0.0 Safari/537.36"        )    }    try:        response = requests.get(url, headers=headers, timeout=10)        if response.status_code != 200:            return page_number, [], f"请求失败,HTTP 状态码: {response.status_code}"        soup = BeautifulSoup(response.text, "html.parser")        rows = []        for house_info in soup.find_all("li", {"class""clear LOGVIEWDATA LOGCLICKDATA"}):            row = {}            pos = house_info.find("div", {"class""positionInfo"})            house = house_info.find("div", {"class""houseInfo"})            follow = house_info.find("div", {"class""followInfo"})            unit_p = house_info.find("div", {"class""unitPrice"})            total_p = house_info.find("div", {"class""priceInfo"})            row["区域"] = pos.get_text(strip=Trueif pos else ""            row["房型"] = house.get_text(strip=Trueif house else ""            row["关注"] = follow.get_text(strip=Trueif follow else ""            row["单价"] = unit_p.get_text(strip=Trueif unit_p else ""            row["总价"] = total_p.get_text(strip=Trueif total_p else ""            rows.append(row)        return page_number, rows, None    except Exception as e:        return page_number, [], str(e)# ==========================================# 5. 主应用界面与多线程控制器# ==========================================class LianjiaScraperApp:    def __init__(self, root):        self.root = root        self.root.title("链家二手房并发采集器 (注册式工厂版)")        self.root.geometry("680x520")        # 初始化工厂与变量        self.factory = RegistryWidgetFactory(UIConfig())        self.msg_queue = queue.Queue()        default_save_path = os.path.join(os.path.expanduser("~"), "Desktop""lianjia_data.xlsx")        self.start_page_var = tk.StringVar(value="1")        self.end_page_var = tk.StringVar(value="5")        self.workers_var = tk.StringVar(value="4")        self.path_var = tk.StringVar(value=default_save_path)        self.status_var = tk.StringVar(value="状态:就绪")        self.build_ui()        self.poll_queue()  # 开启定时拉取队列日志    def build_ui(self):        title = tk.Label(self.root, text="广州链家二手房数据并发采集面板", font=self.factory.config.font_title)        title.pack(pady=(124))        # 参数配置表单        form = ttk.Frame(self.root)        form.pack(fill="x", padx=20, pady=5)        form.columnconfigure(1, weight=1)        self.factory.create("spinbox_row", form, label_text="起始页码:", row=0, variable=self.start_page_var, from_=1, to=100)        self.factory.create("spinbox_row", form, label_text="结束页码:", row=1, variable=self.end_page_var, from_=1, to=100)        self.factory.create("spinbox_row", form, label_text="并发线程数:", row=2, variable=self.workers_var, from_=1, to=16)        self.factory.create("path_picker", form, label_text="保存文件路径:", row=3, variable=self.path_var)        # 按钮栏        btn_frame = ttk.Frame(self.root)        btn_frame.pack(fill="x", padx=20, pady=5)        btn_frame.columnconfigure(0, weight=1)        btn_frame.columnconfigure(1, weight=1)        self.factory.create("button", btn_frame, text="启动并发抓取", command=self.start_crawling, row=0, column=0)        self.factory.create("button", btn_frame, text="重置默认参数", command=self.reset_params, row=0, column=1)        # 状态栏与日志面板        self.factory.create("status_badge"self.root, textvariable=self.status_var, level="ok")        self.log_area = self.factory.create("log_panel"self.root, height=10)    def log(self, message: str):        """将日志放入队列"""        self.msg_queue.put(("LOG", message))    def poll_queue(self):        """主线程定时轮询日志队列,避免 UI 阻塞"""        while not self.msg_queue.empty():            msg_type, content = self.msg_queue.get()            if msg_type == "LOG":                self.log_area.configure(state="normal")                self.log_area.insert(tk.END, f"[{time.strftime('%H:%M:%S')}{content}\n")                self.log_area.see(tk.END)                self.log_area.configure(state="disabled")            elif msg_type == "STATUS":                self.status_var.set(content)            elif msg_type == "FINISH":                self.factory.set_all_state("normal")                messagebox.showinfo("完成", content)        self.root.after(100self.poll_queue)    def start_crawling(self):        """启动后台抓取线程"""        try:            start_p = int(self.start_page_var.get())            end_p = int(self.end_page_var.get())            workers = int(self.workers_var.get())            save_path = self.path_var.get().strip()            if start_p > end_p:                raise ValueError("起始页码不能大于结束页码!")            if not save_path:                raise ValueError("保存路径不能为空!")        except ValueError as err:            messagebox.showwarning("参数错误"str(err))            return        # 锁定界面控件        self.factory.set_all_state("disabled")        self.status_var.set("状态:数据采集并发运行中...")        # 启动后台线程执行采集        threading.Thread(            target=self._async_task,            args=(start_p, end_p, workers, save_path),            daemon=True,        ).start()    def _async_task(self, start_p: int, end_p: int, workers: int, save_path: str):        """在后台线程中调度 ThreadPoolExecutor 进行并发爬取"""        all_data = []        total_pages = end_p - start_p + 1        completed_count = 0        self.log(f"开始抓取 Task:页码 {start_p} ~ {end_p},线程数 {workers}")        # 使用 ThreadPoolExecutor 进行并发        with ThreadPoolExecutor(max_workers=workers) as executor:            future_to_page = {                executor.submit(fetch_single_page, page): page                for page in range(start_p, end_p + 1)            }            for future in as_completed(future_to_page):                page_num, page_data, err = future.result()                completed_count += 1                if err:                    self.log(f"第 {page_num} 页抓取失败: {err}")                else:                    all_data.extend(page_data)                    self.log(f"第 {page_num} 页成功抓取 {len(page_data)} 条记录 ({completed_count}/{total_pages})")        # 保存 Excel        if all_data:            try:                df = pd.DataFrame(all_data)                df.to_excel(save_path, index=False)                self.log(f"数据已成功保存至: {save_path}")                self.msg_queue.put(("STATUS""状态:采集完成"))                self.msg_queue.put(("FINISH"f"成功抓取 {len(all_data)} 条数据,已保存至:\n{save_path}"))            except Exception as e:                self.log(f"保存 Excel 异常: {e}")                self.msg_queue.put(("STATUS""状态:保存数据失败"))                self.msg_queue.put(("FINISH"f"保存 Excel 失败: {e}"))        else:            self.log("未采集到任何有效数据!")            self.msg_queue.put(("STATUS""状态:未获取到数据"))            self.msg_queue.put(("FINISH""未抓取到任何数据,请检查网络或请求限制。"))    def reset_params(self):        default_save_path = os.path.join(os.path.expanduser("~"), "Desktop""lianjia_data.xlsx")        self.start_page_var.set("1")        self.end_page_var.set("5")        self.workers_var.set("4")        self.path_var.set(default_save_path)        self.status_var.set("状态:参数已重置")if __name__ == "__main__":    root = tk.Tk()    app = LianjiaScraperApp(root)    root.mainloop()


六、 总结与自动化落地建议

技术架构的精妙之处,不仅在于复杂的语法,而在于是否完美拟合商业场景的效率诉求与风险控制
总结本方案对数字化的三项核心启示:
  1. 以模块应变:以『注册式工厂模式』与中央配置,将易变的业务逻辑(如 UI 样式、数据源)分离。架构模块化后,系统方可跟上业务的快速迭代。
  2. 以并发打破效率墙:善用 ThreadPoolExecutor 等并发模型,将传统「线性等待时间」压缩为「并行计算时间」,大幅降低企业数据获取成本。
  3. 以解耦换取系统稳定性:籍 Queue 与线程隔离机制,保持主控系统的敏捷响应,将风险与繁重计算锁死在后台。
实际落地数据自动化时,可优先梳理重复的劳动环节,将其抽象为规范化的输入输出,再引入多线程与工厂架构,实现真正的高效、高靠、零假死自动化系统。
#Python并发编程#工厂模式#企业数字化转型#办公自动化#数据分析ETL

最新文章

随机文章

基本 文件 流程 错误 SQL 调试
  1. 请求信息 : 2026-08-21 16:27:41 HTTP/2.0 GET : https://f.mffb.com.cn/a/509355.html
  2. 运行时间 : 0.196331s [ 吞吐率:5.09req/s ] 内存消耗:4,649.55kb 文件加载:140
  3. 缓存信息 : 0 reads,0 writes
  4. 会话信息 : SESSION_ID=550b24303b8d6c485017eaaac9bd6316
  1. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/public/index.php ( 0.79 KB )
  2. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/autoload.php ( 0.17 KB )
  3. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/composer/autoload_real.php ( 2.49 KB )
  4. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/composer/platform_check.php ( 0.90 KB )
  5. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/composer/ClassLoader.php ( 14.03 KB )
  6. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/composer/autoload_static.php ( 4.90 KB )
  7. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-helper/src/helper.php ( 8.34 KB )
  8. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-validate/src/helper.php ( 2.19 KB )
  9. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/helper.php ( 1.47 KB )
  10. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/stubs/load_stubs.php ( 0.16 KB )
  11. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Exception.php ( 1.69 KB )
  12. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-container/src/Facade.php ( 2.71 KB )
  13. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/symfony/deprecation-contracts/function.php ( 0.99 KB )
  14. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/symfony/polyfill-mbstring/bootstrap.php ( 8.26 KB )
  15. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/symfony/polyfill-mbstring/bootstrap80.php ( 9.78 KB )
  16. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/symfony/var-dumper/Resources/functions/dump.php ( 1.49 KB )
  17. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-dumper/src/helper.php ( 0.18 KB )
  18. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/symfony/var-dumper/VarDumper.php ( 4.30 KB )
  19. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/App.php ( 15.30 KB )
  20. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-container/src/Container.php ( 15.76 KB )
  21. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/psr/container/src/ContainerInterface.php ( 1.02 KB )
  22. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/provider.php ( 0.19 KB )
  23. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Http.php ( 6.04 KB )
  24. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-helper/src/helper/Str.php ( 7.29 KB )
  25. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Env.php ( 4.68 KB )
  26. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/common.php ( 0.03 KB )
  27. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/helper.php ( 18.78 KB )
  28. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Config.php ( 5.54 KB )
  29. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/app.php ( 0.95 KB )
  30. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/cache.php ( 0.78 KB )
  31. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/console.php ( 0.23 KB )
  32. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/cookie.php ( 0.56 KB )
  33. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/database.php ( 2.48 KB )
  34. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/facade/Env.php ( 1.67 KB )
  35. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/filesystem.php ( 0.61 KB )
  36. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/lang.php ( 0.91 KB )
  37. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/log.php ( 1.35 KB )
  38. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/middleware.php ( 0.19 KB )
  39. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/route.php ( 1.89 KB )
  40. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/session.php ( 0.57 KB )
  41. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/trace.php ( 0.34 KB )
  42. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/config/view.php ( 0.82 KB )
  43. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/event.php ( 0.25 KB )
  44. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Event.php ( 7.67 KB )
  45. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/service.php ( 0.13 KB )
  46. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/AppService.php ( 0.26 KB )
  47. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Service.php ( 1.64 KB )
  48. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Lang.php ( 7.35 KB )
  49. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/lang/zh-cn.php ( 13.70 KB )
  50. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/initializer/Error.php ( 3.31 KB )
  51. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/initializer/RegisterService.php ( 1.33 KB )
  52. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/services.php ( 0.14 KB )
  53. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/service/PaginatorService.php ( 1.52 KB )
  54. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/service/ValidateService.php ( 0.99 KB )
  55. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/service/ModelService.php ( 2.04 KB )
  56. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-trace/src/Service.php ( 0.77 KB )
  57. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Middleware.php ( 6.72 KB )
  58. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/initializer/BootService.php ( 0.77 KB )
  59. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/Paginator.php ( 11.86 KB )
  60. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-validate/src/Validate.php ( 63.20 KB )
  61. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/Model.php ( 23.55 KB )
  62. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/concern/Attribute.php ( 21.05 KB )
  63. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/concern/AutoWriteData.php ( 4.21 KB )
  64. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/concern/Conversion.php ( 6.44 KB )
  65. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/concern/DbConnect.php ( 5.16 KB )
  66. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/concern/ModelEvent.php ( 2.33 KB )
  67. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/concern/RelationShip.php ( 28.29 KB )
  68. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-helper/src/contract/Arrayable.php ( 0.09 KB )
  69. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-helper/src/contract/Jsonable.php ( 0.13 KB )
  70. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/model/contract/Modelable.php ( 0.09 KB )
  71. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Db.php ( 2.88 KB )
  72. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/DbManager.php ( 8.52 KB )
  73. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Log.php ( 6.28 KB )
  74. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Manager.php ( 3.92 KB )
  75. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/psr/log/src/LoggerTrait.php ( 2.69 KB )
  76. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/psr/log/src/LoggerInterface.php ( 2.71 KB )
  77. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Cache.php ( 4.92 KB )
  78. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/psr/simple-cache/src/CacheInterface.php ( 4.71 KB )
  79. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-helper/src/helper/Arr.php ( 16.63 KB )
  80. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/cache/driver/File.php ( 7.84 KB )
  81. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/cache/Driver.php ( 9.03 KB )
  82. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/contract/CacheHandlerInterface.php ( 1.99 KB )
  83. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/Request.php ( 0.09 KB )
  84. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Request.php ( 55.78 KB )
  85. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/middleware.php ( 0.25 KB )
  86. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Pipeline.php ( 2.61 KB )
  87. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-trace/src/TraceDebug.php ( 3.40 KB )
  88. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/middleware/SessionInit.php ( 1.94 KB )
  89. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Session.php ( 1.80 KB )
  90. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/session/driver/File.php ( 6.27 KB )
  91. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/contract/SessionHandlerInterface.php ( 0.87 KB )
  92. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/session/Store.php ( 7.12 KB )
  93. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Route.php ( 23.73 KB )
  94. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/RuleName.php ( 5.75 KB )
  95. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/Domain.php ( 2.53 KB )
  96. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/RuleGroup.php ( 22.43 KB )
  97. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/Rule.php ( 26.95 KB )
  98. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/RuleItem.php ( 9.78 KB )
  99. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/route/app.php ( 1.72 KB )
  100. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/facade/Route.php ( 4.70 KB )
  101. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/dispatch/Controller.php ( 4.74 KB )
  102. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/route/Dispatch.php ( 10.44 KB )
  103. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/controller/Index.php ( 4.81 KB )
  104. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/app/BaseController.php ( 2.05 KB )
  105. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/facade/Db.php ( 0.93 KB )
  106. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/connector/Mysql.php ( 5.44 KB )
  107. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/PDOConnection.php ( 52.47 KB )
  108. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/Connection.php ( 8.39 KB )
  109. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/ConnectionInterface.php ( 4.57 KB )
  110. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/builder/Mysql.php ( 16.58 KB )
  111. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/Builder.php ( 24.06 KB )
  112. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/BaseBuilder.php ( 27.50 KB )
  113. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/Query.php ( 15.71 KB )
  114. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/BaseQuery.php ( 45.13 KB )
  115. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/TimeFieldQuery.php ( 7.43 KB )
  116. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/AggregateQuery.php ( 3.26 KB )
  117. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/ModelRelationQuery.php ( 20.07 KB )
  118. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/ParamsBind.php ( 3.66 KB )
  119. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/ResultOperation.php ( 7.01 KB )
  120. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/WhereQuery.php ( 19.37 KB )
  121. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/JoinAndViewQuery.php ( 7.11 KB )
  122. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/TableFieldInfo.php ( 2.63 KB )
  123. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-orm/src/db/concern/Transaction.php ( 2.77 KB )
  124. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/log/driver/File.php ( 5.96 KB )
  125. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/contract/LogHandlerInterface.php ( 0.86 KB )
  126. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/log/Channel.php ( 3.89 KB )
  127. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/event/LogRecord.php ( 1.02 KB )
  128. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-helper/src/Collection.php ( 16.47 KB )
  129. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/facade/View.php ( 1.70 KB )
  130. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/View.php ( 4.39 KB )
  131. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Response.php ( 8.81 KB )
  132. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/response/View.php ( 3.29 KB )
  133. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/Cookie.php ( 6.06 KB )
  134. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-view/src/Think.php ( 8.38 KB )
  135. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/framework/src/think/contract/TemplateHandlerInterface.php ( 1.60 KB )
  136. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-template/src/Template.php ( 46.61 KB )
  137. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-template/src/template/driver/File.php ( 2.41 KB )
  138. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-template/src/template/contract/DriverInterface.php ( 0.86 KB )
  139. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/runtime/temp/067d451b9a0c665040f3f1bdd3293d68.php ( 11.98 KB )
  140. /yingpanguazai/ssd/ssd1/www/f.mffb.com.cn/vendor/topthink/think-trace/src/Html.php ( 4.42 KB )
  1. CONNECT:[ UseTime:0.001296s ] mysql:host=127.0.0.1;port=3306;dbname=f_mffb;charset=utf8mb4
  2. SHOW FULL COLUMNS FROM `fenlei` [ RunTime:0.001766s ]
  3. SELECT * FROM `fenlei` WHERE `fid` = 0 [ RunTime:0.000723s ]
  4. SELECT * FROM `fenlei` WHERE `fid` = 63 [ RunTime:0.000677s ]
  5. SHOW FULL COLUMNS FROM `set` [ RunTime:0.001364s ]
  6. SELECT * FROM `set` [ RunTime:0.000526s ]
  7. SHOW FULL COLUMNS FROM `article` [ RunTime:0.001480s ]
  8. SELECT * FROM `article` WHERE `id` = 509355 LIMIT 1 [ RunTime:0.001390s ]
  9. UPDATE `article` SET `lasttime` = 1787300862 WHERE `id` = 509355 [ RunTime:0.009429s ]
  10. SELECT * FROM `fenlei` WHERE `id` = 66 LIMIT 1 [ RunTime:0.000702s ]
  11. SELECT * FROM `article` WHERE `id` < 509355 ORDER BY `id` DESC LIMIT 1 [ RunTime:0.001261s ]
  12. SELECT * FROM `article` WHERE `id` > 509355 ORDER BY `id` ASC LIMIT 1 [ RunTime:0.001833s ]
  13. SELECT * FROM `article` WHERE `id` < 509355 ORDER BY `id` DESC LIMIT 10 [ RunTime:0.008941s ]
  14. SELECT * FROM `article` WHERE `id` < 509355 ORDER BY `id` DESC LIMIT 10,10 [ RunTime:0.003187s ]
  15. SELECT * FROM `article` WHERE `id` < 509355 ORDER BY `id` DESC LIMIT 20,10 [ RunTime:0.001763s ]
0.200266s