用playwright封装一个处理web网页的爬虫,并隐藏自动化特征,自动处理反爬

更多内容请见《爬虫和逆向教程》 - 专栏介绍和目录

文章目录

下面是一个使用 Playwright 封装的、具备反爬对抗能力的网页爬虫Python函数,返回原始 HTML 内容,并重点隐藏自动化特征,避免被检测为 bot。


一、脚本概述

该封装已在多个中等反爬网站(如电商、新闻站)验证有效,能绕过大多数基于 navigator.webdriverchrome 对象、permissions 等的检测。

1.1 脚本对应反爬措施

  1. 移除 navigator.webdriver 标志
  2. 注入真实 User-Agent 和 Accept-Language
  3. 禁用 chrome 对象中的自动化属性(如 cdc_
  4. 设置合理的 viewport、设备比例、语言
  5. 启用 JavaScript 但模拟人类行为(可选延迟)
  6. 使用非 headless 模式或伪装 headless(推荐后者)

1.2 注意事项

  1. 不要频繁请求:即使隐藏了特征,高频访问

Read more

Claude Code 背后的秘密:这套免费课程让我看懂了 AI Agent

Claude Code 背后的秘密:这套免费课程让我看懂了 AI Agent

大家好,我是悟鸣。(微信公众号:悟鸣AI) 很多朋友都在问两个问题: 1. 想系统学习 Agent 原理,但不知道从哪里开始。 2. 已经在用 Claude Code,但想搞清楚它背后的机制。 今天这篇就推荐一个很适合入门到进阶的开源项目:learn-claude-code。 这个项目解决了什么问题? 它把“会用工具”和“理解原理”之间的鸿沟补上了: * 不只讲概念,而是从最小可运行循环开始。 * 每一课只增加一个机制,学习路径清晰。 * 代码能跑、过程可观察、原理可追踪。 GitHub 仓库地址:https://github.com/shareAI-lab/learn-claude-code 先看最小循环:Agent 是怎么“动起来”的 这是 AI Coding Agent 的最小循环。生产级 Agent 会在此基础上叠加策略、

前端组件库:别再重复造轮子了

前端组件库:别再重复造轮子了 毒舌时刻 这组件写得跟拼凑似的,一点都不统一。 各位前端同行,咱们今天聊聊前端组件库。别告诉我你还在手动编写所有组件,那感觉就像在没有工具的情况下盖房子——能盖,但效率低得可怜。 为什么你需要组件库 最近看到一个项目,每个组件都要手动编写,样式不统一,维护困难。我就想问:你是在做组件还是在做重复劳动? 反面教材 // 反面教材:手动编写组件 // Button.jsx import React from 'react'; function Button({ children, onClick }) { return ( <button onClick={onClick} style={{ padding: '10px 20px', backgroundColor: '#007bff', color: '

智能进化:人工智能对上位机系统的全面重塑与影响分析

智能进化:人工智能对上位机系统的全面重塑与影响分析

文章目录 * **一、 内核重构:从“监控窗口”到“智能决策引擎”** * **二、 场景深化:从“单一监控”到“全域智能”** * **三、 架构演进:从“封闭塔楼”到“开放云边端协同体”** * **四、 挑战与破局:智能征途上的关键障碍** * **五、 未来图景:向自适应与共生智能演进** * **六、 产业影响:重塑竞争格局与价值分配** * **结论** 在工业自动化与信息化融合的浪潮中,上位机(Supervisory Control and Data Acquisition, SCADA/HMI系统)作为连接物理设备与数字世界的“神经中枢”,正经历一场由人工智能(AI)驱动的深刻革命。这场变革远非简单的功能叠加,而是从核心架构、功能范式到生态角色的系统性重构。AI的融入,正使上位机从一个被动的数据监控与指令执行平台,演变为一个具备感知、分析、

飞算 JavaAI:需求转在线考试系统全流程体验-代码驱动的智能开发革命

飞算 JavaAI:需求转在线考试系统全流程体验-代码驱动的智能开发革命

每日一句 愿你是一只燕子, 衔着春光飞来; 愿你是一只雄鹰, 箭一般射向蓝天。 目录 每日一句 一.引言:当代码自动生成成为现实 二.数据库设计:自动生成的表结构与关系映射 三.实体类设计:注解驱动的对象映射 四.DAO 层设计:MyBatis-Plus 的智能封装 五.Service 层设计:事务管理与业务逻辑 六.Controller 层设计:RESTful 接口与统一响应 七.前端代码:Vue 组件与实时交互 八.开发效率对比:AI 生成代码带来的质变 九.总结:AI 驱动的开发新范式 一.引言:当代码自动生成成为现实 作为计算机专业学生,我曾以为 "一天开发一个系统"