[开源推荐] boss-zhipin-scraper：用 CDP 协议抓 BOSS直聘职位并做技能分析

[eatmoreduck]

项目地址

https://github.com/eatmoreduck/boss-zhipin-scraper

类别

Python（Chrome DevTools Protocol + 命令行工具）

项目标题

用 CDP 协议抓 BOSS直聘职位并做技能分析

项目描述

boss-zhipin-scraper 是一个通过 Chrome DevTools Protocol (CDP) 抓取 BOSS直聘职位数据的命令行工具。不依赖 Selenium/Playwright，直接通过 CDP raw protocol 连接本地已登录的 Chrome，复用真实登录态调搜索 API，输出含明文薪资的 JSON/CSV，并能生成薪资分布和技能词频分析报告，适合求职者批量筛岗位、或想学 CDP 协议的开发者。

亮点

• 纯 CDP raw protocol 实现：手写 WebSocket 消息收发，依赖只有 requests + websocket-client
• 明文薪资：直接调搜索 API 拿结构化数据，避开前端字体反爬
• 持久隔离 Chrome profile：专用 profile 存登录态，不软链接、不复制主 Chrome 数据，不影响 Gmail/GitHub 等日常账号
• 抓完即分析：薪资分布、经验要求、高频技能词频统计，直接出求职参考
• 跨平台：macOS / Linux / Windows 都支持，一键 --setup-chrome + --check 环境自检

示例代码

# 启动隔离 Chrome（登录一次，持久保存）
python3 scripts/boss_cdp_raw.py --setup-chrome

# 环境自检（依赖 + CDP 连通性 + 登录态）
python3 scripts/boss_cdp_raw.py --check

# 抓取 + 分析
python3 scripts/boss_cdp_raw.py --keyword "AI Agent" --city 上海 --pages 3 --analysis

[eatmoreduck]

更正：项目目前实测支持 macOS 和 Linux。代码里预留了 Windows 分支（Chrome 路径、PowerShell 进程查询、creationflags 等），但未经实际验证，不能保证可用，README 也已相应改为 macOS + Linux。如果有人在 Windows 上跑通或遇到问题，欢迎提 issue 反馈。