还在手动保存抖音视频和评论?这个开源项目让你一键爬取所有数据,甚至还能自动回复私信、监听直播间!手把手教你搭建属于自己的抖音数据助手。
🎉 项目亮点
🔍 全能数据采集:支持用户主页、作品详情、评论区、关注粉丝列表,连直播弹幕和礼物数据都不放过
💬 双向交互能力:不仅能看,还能发!支持私信收发、直播间发消息、点赞评论
📦 结构化存储:数据自动保存为JSON/Excel,图片视频分类整理,强迫症福音
🔐 安全稳定:自动处理抖音最新加密协议,支持代理IP,断线自动重连
🚀 高性能架构:内置重试机制,妈妈再也不用担心爬到一半报错了
🤔 解决什么痛点?
小陈是个短视频运营,每天要监控20个竞品账号的数据。以前他得手动打开每个账号的主页,一个一个视频截图保存评论,还要盯着直播间记录弹幕。最崩溃的是,有时候想回复粉丝私信,手机不在身边就错过了。
“要是有一个24小时在线的抖音助手就好了。”小陈经常这样想。
直到他发现了这个开源项目——Douyin_Spider。
这个工具就像一个“抖音外挂”,能自动完成以下任务:
- 数据搬运工输入一个抖音用户主页链接,自动下载TA所有视频/图集,连同点赞数、评论内容一起打包成Excel表格
- 直播间小秘书实时监听直播间,谁送了“嘉年华”、谁在刷屏骂人,全部记录下来
- 自动回复机器人通过WebSocket实时接收私信,配合AI甚至能自动回复常见问题
更重要的是,这些功能全部跑在你自己的电脑上,数据隐私安全可控。
🛠️ 手把手教程
➤ 第一步:环境准备
你需要准备两样东西:
- Python 3.7 或更高版本(用来运行爬虫核心)
检查是否已安装,打开终端输入:
python --versionnode --version
如果提示“不是内部命令”,先去官网下载安装。
➤ 第二步:安装项目
克隆项目到本地(或者直接下载ZIP压缩包):
git clone https://github.com/cv-cat/Douyin_Spider.gitcd Douyin_Spider
安装Python依赖包:
pip install -r requirements.txt
安装Node.js依赖(用于处理加密签名):
npm install
💡 这个过程大约需要2-3分钟,如果遇到网络超时,可以尝试使用国内镜像源。
➤ 第三步:获取你的抖音Cookie(关键步骤)
这个工具需要模拟你的浏览器身份,所以需要把登录后的Cookie复制出来。
操作演示:
- 用Chrome或Edge浏览器打开 www.douyin.com 并登录你的抖音账号
- 点击任意一个请求,在右侧找到“请求标头”(Request Headers)
🎯 小技巧:直播间监听需要单独获取 live.douyin.com 域名的Cookie,步骤同上,只是先打开抖音任意直播间页面。
➤ 第四步:配置认证信息
在项目根目录找到 .env 文件(如果没有就新建一个),填入你的Cookie:
DOUYIN_COOKIE=你复制的那一串cookieLIVE_COOKIE=直播间的cookie(如果需要监听直播间)
➤ 第五步:开始你的第一次数据采集
场景1:下载某个博主的所有视频
修改 main.py 文件,添加用户主页链接:
from dy_apis.douyin_api import DouyinAPIfrom builder.auth import DouyinAuth# 初始化认证auth = DouyinAuth()auth.perepare_auth(cookie_str="你的cookie")# 获取用户所有作品user_url = "https://www.douyin.com/user/MS4wLjABAAAAxxxx"# 替换成你要爬的博主主页works = DouyinAPI.get_user_all_work_info(auth, user_url)# 打印作品数量print(f"共找到 {len(works)} 个作品")
运行命令:
python main.py
场景2:监听直播间弹幕和礼物
打开另一个终端窗口,运行:
python dy_live/server.py
你会实时看到类似这样的输出:
[弹幕] 用户“吃货小分队”说:主播好漂亮[礼物] 用户“土豪大哥”送出“浪漫马车” x1[点赞] 用户“路人甲”点了赞
场景3:实时接收私信
python dy_apis/douyin_recv_msg.py
保持程序运行,当有人给你发私信时,控制台会立刻显示消息内容和发送者。
➤ 数据都存哪儿了?
所有下载的内容会自动保存在 data 文件夹下:
media/video/media/image/excel/ 作品信息汇总表格(包含点赞数、评论数、发布时间等)
📊 同类项目对比
简单来说:如果你是只想下载一两个视频,用浏览器插件就够了。但如果需要批量、持续、自动化地跟抖音交互,这个项目是目前开源社区功能最完整的方案之一。
🎯 写在最后
这个项目最让我惊喜的是它的完整性——不只是简单的数据爬取,而是构建了一个双向通信的桥梁。你可以用它来做很多有意思的事情:
现在,去试试把你的抖音数据“搬”回家吧!