前言
想要学好爬虫没那么简单，知识点涉及计算机网络、编程基础、前端开发、后端开发、APP 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向。涵盖面广，学习过程容易零散，初学者常困惑于知识体系及反爬应对策略。本文对爬虫技术栈进行归纳总结。
一、初学爬虫
普通网站通常无强反爬措施，例如博客站点，可顺列表页抓取文章，提取时间、作者、正文等信息。
1. Python 基础语法
熟悉变量、数据类型、条件语句、循环、函数等基础语法。
2. HTTP 协议与请求
了解 URL、请求方法（GET、POST）和响应状态码（如 200, 404）。
3. HTML 数据提取
掌握 HTML 标签、属性、CSS 选择器，使用 XPath、BeautifulSoup、PyQuery 或正则表达式定位信息。
4. 常用库与框架
- requests：发送 HTTP 请求获取网页内容。
- BeautifulSoup/lxml：解析 HTML/XML 文档。
- Scrapy：构建和管理复杂爬虫项目。
5. 数据存储
将数据保存至 CSV、JSON 文件或 MySQL、MongoDB、Elasticsearch、Kafka 等数据库实现持久化。
6. 反爬与反反爬
熟悉 User-Agent 伪装、IP 代理、Selenium 处理 JavaScript 等常见策略。
代码逻辑通常包括获取源码、解析数据、循环存储。若不想写代码，可使用可视化采集工具通过点选方式获取数据。
二、Ajax 与动态渲染
现代网站数据常通过接口传输或 JSON 格式经 JavaScript 渲染。requests 获取的源码可能不包含真实数据。
需分析 Ajax 接口调用方式模拟请求。若接口含加密参数（token、sign），需分析 JavaScript 逻辑构造参数。若无法破解，可使用 Puppeteer、Pyppeteer、Selenium、Splash 等模拟浏览器，直接获取渲染后页面，但需注意识别 webdriver 的反爬机制。
三、并发处理
爬虫是 IO 密集型任务，单线程效率低。可通过以下方式提升速度：
- 多线程/多进程：使用 threading、multiprocessing 库，利用 GIL 锁影响较小的特点提高并发。
- 异步协程：使用 aiohttp、gevent、tornado 等库实现高并发，注意控制频率避免封禁。
四、分布式架构
单机爬虫扩展性有限，规模化需分布式方案，核心是资源共享（队列、去重指纹）。
- 组件：RabbitMQ、Celery、Kafka、Redis。
- Scrapy 生态：Scrapy-Redis、Scrapy-Redis-BloomFilter、Scrapy-Cluster 基于 Redis 共享队列。
- 消息队列：对接 RabbitMQ、Kafka 解决内存问题，提升效率。
五、验证码与 IP 防护
1. 验证码识别
- 图形验证码：OCR 识别或对接打码平台。
- 行为验证码：滑动轨迹模拟、缺口识别（图像处理/深度学习）。可分析 JS 逻辑获取加密参数，或直接模拟浏览器操作。
- 其他类型：文字点选、逻辑推理等，可训练深度学习模型或寻找打码服务。
2. IP 封禁应对
- 代理池：收集免费或付费代理，搭建测试器持续验证可用性。
- 隧道代理：部分服务商提供隧道技术，地址端口不可见，维护省心但可控性较低。
- 拨号/蜂窝代理：稳定性高，接入成本较高。
