本技能树共计22大核心主干、200+细分技能分支，全覆盖自动化、AI、多媒体、文档、开发、安全、硬件、扩展领域等全场景，每个分支均有落地可用的核心库、框架与项目，帮助大家打造从底层开发到上层AI应用、从日常工具到工业级部署的闭环技能生态。

一、基础技能底座

1.1 环境与包管理

• Python环境：venv、conda、poetry、pipenv

• Rust环境：rye、cargo、rustup

• 依赖管控：pipreqs、poetry lock、cargo audit

1.2 代码质量与调试

• 代码格式化：black、isort、ruff

• 类型校验：mypy、pyright

• 调试工具：pdb、py-spy、debugpy

• 单元测试：pytest、unittest、pytest-cov

1.3 版本与协作管理

• 代码托管：Git、GitLFS、gitpython

• 流程管控：pre-commit、commitlint

• 文档协作：OnlyOffice、Collabora

1.4 日志、监控与配置

• 日志记录：logging、loguru、structlog

• 系统监控：prometheus、grafana、psutil

• 配置管理：pydantic-settings、dynaconf

• 异步编程：asyncio、aiofiles、anyio

二、爬虫与数据采集全生态

2.1 基础爬虫开发

• 静态采集：requests、httpx、aiohttp

• 动态渲染：playwright、selenium、pyppeteer、DrissionPage

• 爬虫框架：Scrapy、scrapy-playwright

• 页面解析：lxml、pyquery、BeautifulSoup4

2.2 爬虫逆向与反爬对抗

• 加解密：pycryptodome、rsa、ecdsa、hashlib

• JS逆向：execjs、pyjsparser、ast

• 指纹绕过：curl_cffi、scylla、undetected-chromedriver

• 验证码处理：ddddocr、capsolver、yescaptcha

• 代理管控：proxy_pool、requests-adapters

• 流量抓包：scapy、pyshark、mitmproxy

2.3 专项数据采集

• 接口采集：openapi-python-client、postman2py

• 批量采集：分布式爬虫、定时爬取任务

三、浏览器与桌面RPA全生态

3.1 浏览器自动化

• 网页操控：Playwright、Selenium、pyppeteer

• 元素定位：CSS选择器、Xpath、图像定位

3.2 桌面端自动化

• 键鼠模拟：PyAutoGUI、pynput、ahk-python

• 系统控制：pywin32、uiautomation、pygetwindow

• 屏幕操作：mss截屏、录屏、图像模板匹配

• 流程编排：taskflow、prefect、dagster

四、文档全链路处理生态

4.1 单格式文档处理

• PDF处理：PyPDF2、pypdf、pdfplumber、Camelot、ReportLab、PyMuPDF(fitz)

• Word处理：python-docx、mammoth

• Excel处理：openpyxl、XlsxWriter、pandas、polars

• PPT处理：python-pptx

• 电子书：ebooklib、mobi、epub

• 标记语言：mistune、markdown-it-py

4.2 高级文档操作

• PDF高级：加水印、电子签章、表单填写、OCR识别、pyhanko

• 表格识别：table-transformer、paddleocr-table、Tabula

• 文档去重：simhash、minhash

• 批量打印：win32print

4.3 万能格式转换

• 通用转换：pandoc、unstructured、textract

• 图文互转：img2pdf、pytesseract+pdf2image

五、语音全链路技术生态

5.1 ASR语音转文字

• 通用识别：Whisper、FunASR、WeNet、PaddleSpeech

• 实时识别：流式ASR、声控交互

5.2 TTS文字转语音

• 常规合成：Edge-TTS、PaddleTTS、Coqui-TTS

• AI合成：Bark、多风格语音生成

5.3 语音预处理与增强

• 人声检测：webrtcvad、silero-vad

• 语音降噪：noisereduce、speechbrain

• 音频编解码：pydub、librosa、soundfile

• 实时音频：pyaudio、sounddevice

• 音源分离：demucs

5.4 高级语音应用

• 声纹识别：SpeechBrain、wespeaker

• 音色克隆：SoVITS、RVC

六、计算机视觉CV全生态

6.1 OCR文字识别

• 开源方案：PaddleOCR、EasyOCR、Tesseract

• 场景化OCR：票据、车牌、手写体识别

6.2 基础视觉处理

• 图像处理：Pillow、OpenCV、imageio

• 条码二维码：pyzbar、zxing-cpp

• 图像拼接：OpenCV-stitching、全景图生成

6.3 AI视觉算法

• 目标检测分割：YOLOv8、Detectron2、MaskRCNN、SAM

• 人脸相关：MTCNN、dlib、InsightFace、人脸比对

• 姿态识别：MediaPipe、mmpose

• 图像优化：RealESRGAN超分、LaMa-Cleaner修复、RemBG抠图

七、音视频多媒体处理生态

7.1 图片专项处理

• 基础操作：裁剪、拼接、压缩、旋转、滤镜

• AI修图：抠图、去水印、画质增强

• 动图生成：GIF制作、表情包合成

7.2 视频专项处理

• 基础剪辑：MoviePy、ffmpeg-python、FFmpeg

• 视频操作：分割、合成、加字幕、转码、抽帧、音频提取

• 视频获取：yt-dlp、you-get、视频下载

• 帧处理：OpenCV、vidgear

7.3 字幕专项处理

• 字幕生成：Whisper+SRT、pysubs2

• 字幕操作：翻译、编辑、提取、嵌入

八、NLP自然语言处理生态

8.1 基础文本处理

• 中文分词：jieba、thulac、pkuseg

• 文本清洗：去重、纠错、格式规整

• 关键词提取：textrank、rake

8.2 高级NLP任务

• 语义理解：Sentence-Transformers、文本相似度

• 实体抽取：SpaCy、stanza、NER识别

• 文本生成：摘要、续写、文案生成

• 情感分析：snownlp、transformers

• 文本翻译：googletrans、helsinki、translate

• 文本纠错：pycorrector

九、AI大模型与Agent应用生态

9.1 大模型基础调用

• 模型接入：OpenAI、智谱、通义千问、Ollama、LocalAI

• 多模态：LLaVA、Qwen-VL、Gemini、Video-LLaVA

9.2 RAG检索增强生成

• 向量数据库：FAISS、Chroma、Milvus、Qdrant、Weaviate

• 向量模型：BGE、M3E、Sentence-Transformers

• 知识库处理：文档切片、语义检索、内容召回

• 框架工具：LangChain、LlamaIndex、Dify

9.3 AI Agent与工作流

• 智能Agent：Auto-GPT、Meta-GPT、CrewAI、AutoGen

• 工具调用：函数调用、外部工具集成

• 流程编排：LangGraph、Flowise、LangFlow、Node-RED

9.4 大模型工程化

• 模型微调：PEFT、Transformers、TRL、LoRA微调

• 推理加速：vLLM、TensorRT、ONNX Runtime、OpenVINO

• 模型优化：量化(GPTQ/AWQ/GGUF)、剪枝、压缩

• 模型转换：ONNX、TorchScript、CoreML

• 模型评测：LM-Harness、OpenCompass

十、数据处理与ETL生态

10.1 数据计算与分析

• 数值计算：NumPy、SciPy、SymPy符号计算

• 表格分析：Pandas、Polars、Vaex

• 数据可视化：Matplotlib、Seaborn、Plotly、Mayavi

10.2 数据存储与操作

• 关系型数据库：SQLAlchemy、pymysql、psycopg2

• NoSQL数据库：pymongo、redis-py

• 时序数据库：influxdb-client

10.3 数据工程任务

• 数据清洗：great-expectations、dedupe

• 数据同步：dlt、airflow、prefect

• 搜索推荐：Elasticsearch、Meilisearch、LightFM、Surprise

十一、网络、安全与加解密生态

11.1 网络通信

• 远程连接：paramiko、fabric、SSH/SFTP

• 网络代理：socks、隧道转发、sshuttle、frp

• 端口扫描：scapy、nmap

11.2 加解密与安全

• 通用加密：pycryptodome、ring、rust-crypto

• 鉴权认证：pyjwt、OAuth2、Casbin权限控制

• 证书管理：cryptography、pyopenssl

• 数据脱敏：faker、presidio

• 隐私计算：fedavg、tenSEAL

十二、Web开发与服务部署生态

12.1 Web服务开发

• Python框架：FastAPI、Flask、Django

• 通信协议：gRPC、zerorpc

• 定时任务：APScheduler、Celery

12.2 服务部署与运维

• 容器化：docker、docker-compose

• 服务运行：uvicorn、gunicorn

• 网关代理：traefik、nginx

• 日志审计：ELK、Loki

十三、桌面应用开发生态

13.1 GUI应用开发

• 专业桌面：PyQt6、PySide6、Tkinter

• 快速面板：Streamlit、Gradio

• 系统托盘：pystray

13.2 应用打包与分发

• 打包工具：pyinstaller、nuitka

• 热更新：update-checker、pydantic

十四、Rust高性能开发生态

14.1 Rust核心开发

• 异步框架：Tokio、async-std

• Web框架：Axum、Rocket、actix-web

• 序列化：Serde

• CLI开发：Clap

14.2 Rust专项领域

• 数据库：sqlx、sea-orm、diesel

• 多媒体：rust-ffmpeg、image-rs

• AI推理：Candle、tch-rs、ort

• 系统开发：libc、winapi

• 分布式：tonic(gRPC)

14.3 Python+Rust混合开发

• 绑定交互：PyO3

• 打包构建：maturin

• 跨平台应用：Tauri、Egui

十五、消息与办公OA自动化生态

15.1 消息自动化

• 邮件处理：smtplib、yagmail、imaplib、exchangelib

• 短信推送：twilio、aliyun-dysmsapi

• IM机器人：企业微信、钉钉、飞书、Telegram

15.2 OA办公自动化

• 表单处理：pyform、formio

• 审批流程：Camunda、Flowable

• 规则引擎：Drools、pyke

十六、硬件与IoT物联网生态

• 串口通信：pyserial

• 工控开发：pymodbus、snap7、OPC UA、Modbus TCP

• 物联网：paho-mqtt、rpi.gpio

• 外设控制：摄像头、蓝牙(bleak、pybluez)

• 嵌入式：MicroPython、CircuitPython

十七、工业自动化与机器视觉

• 工业视觉：Halcon Python、OpenCV Industrial

• PLC通信与控制

• 工业数据采集与管控

十八、边缘计算与端侧部署

• 端侧推理：TensorFlow Lite、NCNN、MNN、TNN

• 边缘设备部署、轻量化模型落地

十九、3D与GIS地理信息生态

• 3D处理：trimesh、open3d、点云处理

• GIS开发：geopandas、rasterio

• 地图可视化：folium、keplergl

二十、AIGC生成式内容生态

• 文生图：Stable Diffusion、Diffusers

• 文生视频：ModelScope、VideoCrafter

• 文生3D：DreamFusion

• 文生音频：audioLDM

• 代码生成：CodeLlama、StarCoder

二十一、测试与质量保障生态

• 接口测试：pytest-httpx、requests

• UI自动化测试：playwright-pytest

• 性能测试：locust

• 契约测试：pact-python

• Mock服务：moto、responses

二十二、扩展领域技能生态

22.1 金融量化

• 行情获取：tushare、akshare、vnpy

• 策略回测：backtrader、vectorbt、talib

22.2 游戏开发

• Python游戏：Pygame、Panda3D

• 物理引擎：PyBullet、Box2D

22.3 区块链Web3

• 以太坊交互：Web3.py、brownie

• 智能合约：solcx、vyper

22.4 数据标注

• 标注工具：LabelStudio、VGG Image Annotator

• 半自动标注：SAM、YOLO追踪

22.5 生物信息

• 序列分析：Biopython

• 数值优化：CVXPY、PuLP

python历史文章：

基础中的基础（适合新手）