【Python 爬虫实战】抓取 BOSS 直聘

Ne0inhk

— 9 min read

一、前言

在求职或行业调研过程中，我们常常需要批量获取招聘平台的岗位信息，手动复制粘贴效率极低。本文将通过 DrissionPage 框架实现BOSS 直聘大数据开发岗位的批量爬取，无需分析复杂的页面元素，直接监听接口数据包获取 JSON 数据，最终将结果存入 CSV 文件，全程代码简洁易懂，新手也能快速上手。

本次实战目标

  1. 监听 BOSS 直聘岗位列表接口，获取结构化 JSON 数据
  2. 提取岗位名称、公司、薪资、学历要求等核心信息
  3. 将爬取结果批量存入 CSV 文件，方便后续数据分析
  4. 实现自动翻页，爬取前 20 页的岗位数据

二、环境准备

1. 所需 Python 库

本次实战核心使用 DrissionPage 框架（集 Selenium 和 Requests 优势于一体，支持接口监听、页面操作），另外使用 Python 内置的 csv 模块处理文件，pprint 用于格式化输出。

安装核心库

打开终端 / 命令提示符，执行以下安装命令：

pip install DrissionPage

2. 环境说明

  • Python 版本：3.9 及以上（推荐 3.9~3.11）
  • 操作系统：Windows/macOS/Linux 均兼容
  • 无需额外配置浏览器：DrissionPage 会自动适配本地 Chrome 浏览器，若未安装 Chrome，框架会提示自动下载

三、完整实战代码

直接复制以下代码，运行即可实现爬取（无需修改核心内容，可根据需求调整岗位关键词和爬取页数）。

# 导入自动化模块（核心：页面操作+接口监听） from DrissionPage import ChromiumPage # 格式化输出（方便调试，查看数据结构） from pprint import pprint # 导入csv模块（处理CSV文件写入） import csv def crawl_boss_zhipin(): # 1. 初始化CSV文件，配置表头和写入对象 with open('boss.csv', mode='w', encoding='utf-8',) as f: # 定义CSV文件表头字段 csv_fieldnames = [ '岗位名称', '公司', '规模', '公司领域', '学历要求', '经验要求', '技能需求', '福利待遇', '薪资', '市', '区', '商圈', '经度', '纬度' ] # 初始化DictWriter对象（用于字典格式数据写入） csv_writer = csv.DictWriter(f, fieldnames=csv_fieldnames) # 写入CSV表头 csv_writer.writeheader() # 2. 初始化浏览器对象，开启接口监听 dp = ChromiumPage() # 监听接口关键词：joblist（匹配BOSS直聘岗位列表接口） dp.listen.start('joblist') # 访问BOSS直聘大数据开发岗位页面（city=101280600 对应深圳，可修改城市编码） target_url = 'https://www.zhipin.com/web/geek/jobs?query=%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91&city=101280600' dp.get(target_url) # 3. 循环翻页，爬取前20页数据 total_pages = 20 for page in range(1, total_pages + 1): print(f'========== 正在采集第{page}页数据内容 ==========') try: # 等待接口数据包返回（超时时间默认30秒，可调整） resp = dp.listen.wait() # 获取接口返回的JSON数据 json_data = resp.response.body # 4. 提取岗位列表数据，解析并写入CSV # 从JSON数据中提取岗位列表（核心数据节点） job_list = json_data['zpData']['jobList'] for job in job_list: # 构造单条岗位数据字典 job_info = { '岗位名称': job.get('jobName', ''), # 使用get方法避免键不存在报错 '公司': job.get('brandName', ''), '规模': job.get('brandScaleName', ''), '公司领域': job.get('brandIndustry', ''), '学历要求': job.get('jobDegree', ''), '经验要求': job.get('jobExperience', ''), '技能需求': job.get('skills', []), '福利待遇': job.get('welfareList', []), '薪资': job.get('salaryDesc', ''), '市': job.get('cityName', ''), '区': job.get('areaDistrict', ''), '商圈': job.get('businessDistrict', ''), '经度': job.get('gps', {}).get('longitude', ''), # 嵌套字典安全取值 '纬度': job.get('gps', {}).get('latitude', '') } # 写入单条岗位数据到CSV csv_writer.writerow(job_info) # 格式化输出当前爬取的岗位信息（方便查看进度） pprint(job_info) # 5. 页面下滑到底部，触发下一页数据加载（核心翻页逻辑） dp.scroll.to_bottom() except Exception as e: print(f'第{page}页数据采集失败，错误信息：{str(e)}') continue # 6. 爬取完成，关闭浏览器 dp.quit() print(f'========== 全部{total_pages}页数据采集完成，结果已存入boss.csv ==========') if __name__ == '__main__': crawl_boss_zhipin()

四、核心代码解析

1. CSV 文件初始化

  • 使用 open() 函数创建 CSV 文件，指定 mode='w'（写入模式）、encoding='utf-8'（防止中文乱码）、newline=''（避免 CSV 文件出现空行）
  • csv.DictWriter() 支持直接写入字典格式数据，fieldnames 定义 CSV 表头，与后续提取的字段一一对应
  • writeheader() 写入表头，为后续数据写入做准备

2. 浏览器初始化与接口监听

  • ChromiumPage() 实例化浏览器对象，自动启动本地 Chrome 浏览器
  • dp.listen.start('joblist')：开启接口监听，关键词 joblist 用于匹配 BOSS 直聘的岗位列表接口，无需手动分析完整接口 URL，简化开发
  • dp.get() 访问目标岗位页面，自动加载页面并触发接口请求

3. 循环翻页与数据提取

  • 循环 range(1, 21) 实现前 20 页数据爬取，可修改 total_pages 调整爬取页数
  • dp.listen.wait()：等待接口数据包返回，直到获取到匹配 joblist 的接口响应，超时默认 30 秒
  • json_data = resp.response.body：直接获取接口返回的 JSON 数据，无需手动解析 JSON 字符串，DrissionPage 已自动处理
  • 从 json_data['zpData']['jobList'] 提取岗位列表，这是接口返回数据的核心节点，可通过浏览器 F12 开发者工具分析确认

4. 数据安全提取与写入

  • 使用 job.get(key, 默认值) 替代 job[key]：避免因接口返回数据缺失某个字段导致程序报错终止，提高代码健壮性
  • 嵌套字典（如 gps）使用 job.get('gps', {}).get('longitude', '') 实现安全取值，即使 gps 字段不存在也不会报错
  • csv_writer.writerow(job_info)：将单条岗位字典数据写入 CSV 文件，自动对应表头字段

5. 翻页逻辑与资源释放

  • dp.scroll.to_bottom()：将页面下滑到底部，触发 BOSS 直聘的懒加载机制，加载下一页岗位数据（这是本次实战的核心翻页技巧，无需点击分页按钮）
  • dp.quit()：爬取完成后关闭浏览器，释放系统资源

五、运行结果展示

1. 终端运行日志

运行代码后，终端会输出每一页的爬取进度，以及单条岗位的格式化信息，如下所示：

========== 正在采集第1页数据内容 ========== {'公司': '某科技有限公司', '公司领域': '大数据/人工智能', '商圈': '科技园', '学历要求': '本科', '经度': '113.94xxx', '纬度': '22.54xxx', '经验要求': '3-5年', '福利待遇': ['五险一金', '年终奖金', '定期体检'], '技能需求': ['Hadoop', 'Spark', 'Hive'], '薪资': '25-35K·13薪', '市': '深圳市', '区': '南山区', '规模': '500-999人', '岗位名称': '大数据开发工程师'}

2. CSV 文件结果

爬取完成后，在代码同级目录下会生成 boss.csv 文件，可用 Excel、WPS 或记事本打开，数据格式规整，无中文乱码，如下所示（部分截图）：

六、注意事项与优化建议

1. 注意事项

  • 反爬机制：BOSS 直聘有反爬限制，请勿频繁运行代码，建议爬取间隔适当延长（可添加 time.sleep(2) 避免被封禁 IP）
  • 城市编码修改：目标 URL 中的 city=101280600 对应深圳，如需爬取其他城市，可在 BOSS 直聘官网切换城市后，复制 URL 中的城市编码替换
  • 中文乱码问题：CSV 文件打开若出现乱码，可选择用 Excel 打开，选择「数据」→「自文本 / CSV」，编码选择「UTF-8」
  • 接口关键词验证：若无法获取数据，可打开浏览器 F12→「网络」→「XHR」，查看岗位列表接口的 URL 中是否包含 joblist，若不包含，需修改监听关键词

2. 优化建议

  • 添加延时控制：在翻页逻辑中添加 time.sleep(3)，避免请求过快触发反爬，代码如下：
import time # 下滑后添加延时 dp.scroll.to_bottom() time.sleep(3)
  • 异常数据过滤：可添加判断条件，过滤掉薪资为空、学历要求为空的无效岗位数据
  • 多线程爬取：对于大批量数据爬取，可结合 threading 实现多线程爬取，提高效率
  • 数据去重：爬取完成后，可对 CSV 文件进行去重处理，避免重复岗位数据

七、总结

本次实战通过 DrissionPage 框架实现了 BOSS 直聘岗位数据的批量爬取，核心亮点是接口监听，无需分析复杂的页面 DOM 结构，直接获取结构化 JSON 数据，相比传统的页面元素解析，效率更高、稳定性更强。

通过本文的学习，你不仅掌握了招聘平台数据爬取的方法，还能举一反三，将该思路应用到其他支持懒加载的网站数据爬取中。同时，csv 模块的使用也为后续数据分析打下了基础，爬取的 boss.csv 文件可进一步用 pandas 进行数据清洗、可视化分析。

如果运行过程中遇到问题，欢迎在评论区留言讨论，喜欢本文的话，记得点赞 + 收藏哦！

总结

  1. 本次实战核心依赖DrissionPage框架，其接口监听功能可快速获取结构化 JSON 数据，简化爬取流程。
  2. 代码采用csv.DictWriter写入字典数据，配合get()方法安全取值，提高了代码的健壮性和可维护性。
  3. 翻页逻辑依赖页面下滑触发懒加载，无需手动操作分页按钮，适配 BOSS 直聘的页面机制，新手易上手。
  4. 爬取结果存入CSV文件，格式规整无乱码，可直接用于后续数据分析，具备较强的实用性。

Read more

Linux网络 | 理解Web路径 以及 实现一个简单的helloworld网页

Linux网络 | 理解Web路径 以及 实现一个简单的helloworld网页

前言：本节内容承接上节课的http相关的概念， 主要是实现一个简单的接收http协议请求的服务。这个程序对于我们理解后面的http协议的格式，报头以及网络上的资源的理解， 以及本节web路径等等都有着重要作用。 可以说我们就用代码来理解这些东西。 那么废话不多说， 现在开始我们的学习吧。         ps：本节内容建议先看一下上一篇文章http的相关概念哦：linux网络 | 深度学习http的相关概念-ZEEKLOG博客 目录  准备文件  makefile HttpServer.hpp 类内成员 封装sockfd start  ThreadRun  全部代码 运行结果 响应书写 Web路径  准备文件         首先准备文件： 这里面Httpserver.cc用来运行接收http请求的服务。 HttpServer.hpp用来定义http请求。Log.hpp就是一个打印日志的小组件， Socket.hpp同样是套接字的组件。 到使用直接调用相关接口即可。（Log.hpp和Socket.hpp如何实现不讲解， 如果想要知道

By Ne0inhk

Web 服务与 I/O 模型

一、Web 服务介绍 1.1.1 Apache prefork 模型（预派生模式） * 核心机制：主控制进程派生多个独立子进程，使用select模型，最大并发 1024；每个子进程单线程响应用户请求 * 资源特性：占用内存较多，但稳定性极高 * 配置特点：可设置进程数的最大值和最小值 * 适用场景：访问量中等的场景 * 优缺点 * ✅ 优点：极致稳定，故障隔离性好 * ❌ 缺点：每个请求对应一个进程，资源占用高，并发能力弱，不适合高并发场景 1.1.2 Apache worker 模型（多进程 + 多线程混合模式） * 核心机制：主进程启动多个子进程，每个子进程包含固定线程数；线程处理请求，线程不足时新建子进程补充 * 资源特性：相比 prefork 内存占用更少，支持更高并发

By Ne0inhk
PythonWeb基础-FastAPI使用

PythonWeb基础-FastAPI使用

FastAPI是一个基于Python的高性能Web框架，用于快速构建API接口服务。FastAPI带有原生的异步支持，具备极高的性能。 1.框架基础使用 1.1 创建FastAPI项目 创建虚拟环境是为了隔离项目运行环境，避免依赖冲突，保持全局环境的干净与稳定。 项目运行： 方式一：run项目 方式二：运行指令：uvicorn 模块名:app(应用实例名) --reload  ( --reload:更改代码后自动重启服务器) 访问交互式文档： http://127.0.0.1:8000/docs 1.2 路由 路由就是URL地址与处理函数之间的映射关系，它决定了用户访问某个特定网址时，服务器应执行哪个后端接口来返回响应结果。 FastAPI的路由定义基于Python的装饰器模式： 实例： from fastapi import FastAPI # 创建 FastAPI 实例 app = FastAPI() @app.

By Ne0inhk
双剑破天门：攻防世界Web题解之独孤九剑心法(十)

双剑破天门：攻防世界Web题解之独孤九剑心法(十)

免责声明：用户因使用公众号内容而产生的任何行为和后果，由用户自行承担责任。本公众号不承担因用户误解、不当使用等导致的法律责任 **本文以攻防世界部分题为例进行演示，后续会对攻防世界大部分的web题目进行演示，如果你感兴趣请关注** 目录 一：Lottery 二：ics-05 三：总结 一：Lottery 打开后发现这个靶场加载异常缓慢，然后他还给了源码，我们先不看源码先熟悉一下这个网站是什么 这应该是一个类似猜数字游戏，选对7个号码即可得到相应奖励 然后注册 随便输入7个数字发现一个也没中，白费2元 然后我们随便点击这个网站的功能发现如果想要flag需要有相对应的余额 我们这会的思路就是利用bp抓包看看能不能修改我们的余额 好像成功了，我们试一试能不能换flag 居然说没有足够的钱，这个方法不行只要将页面上的数字修改只要刷新就会变回原来的余额 居然不能修改余额那就看看在猜数字的页面有没有突破口，发现其访问了api.php我们继续代码审计 看到如下核心代码，首先随机生成七位数字（random_win_nums）然后将其赋值给$win_number。随后关

By Ne0inhk