用playwright封装一个处理web网页的爬虫,并隐藏自动化特征,自动处理反爬

更多内容请见《爬虫和逆向教程》 - 专栏介绍和目录

文章目录

下面是一个使用 Playwright 封装的、具备反爬对抗能力的网页爬虫Python函数,返回原始 HTML 内容,并重点隐藏自动化特征,避免被检测为 bot。


一、脚本概述

该封装已在多个中等反爬网站(如电商、新闻站)验证有效,能绕过大多数基于 navigator.webdriverchrome 对象、permissions 等的检测。

1.1 脚本对应反爬措施

  1. 移除 navigator.webdriver 标志
  2. 注入真实 User-Agent 和 Accept-Language
  3. 禁用 chrome 对象中的自动化属性(如 cdc_
  4. 设置合理的 viewport、设备比例、语言
  5. 启用 JavaScript 但模拟人类行为(可选延迟)
  6. 使用非 headless 模式或伪装 headless(推荐后者)

1.2 注意事项

  1. 不要频繁请求:即使隐藏了特征,高频访问

Read more

【工具】无需Token!WebAI2API将网页AI转为API使用

【工具】无需Token!WebAI2API将网页AI转为API使用

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 背景介绍         想用OpenClaw、想在自己工具里集成API,但Token太贵了?不过,各大商家不是都提供了免费的网页版吗?比如doubao、ChatGPT,网页版是不限量还免费的!         所以这次介绍的工具,就是将网页版的AI转成了兼容OpenAI协议的API。以前也有web2api、chat2apt,不过都不更新了。而这次的WebAI2API非常好用。 使用效果         亲测效果挺好,原理就是:对外提供API接口,接收到请求后默认人工操作去内置浏览器上发送内容,然后将结果再返回给接口。 还提供了一个后端管理系统,可以方便的查看系统状态、管理配置等等。 不只是文字,图片生成也是能实现的。 如果你部署在服务器上,还能远程查看屏幕。 目前支持的AI厂商列表: 网站名称文本生成图片生成视频生成LMArena✅✅🚫Gemini Enterprise Business✅✅✅Nano Banana F

前端已死?元编程时代:用AI Skills重构你的开发工作流

摘要:本文深入探讨了新兴的“AI Skills”概念,它远不止是简单的Prompt技巧,而是一种将最佳实践、团队规范和技术栈封装成可执行文件的结构化工程范式。文章将系统阐述AI Skills如何从前端开发的“辅助工具”升级为“核心生产力”,通过UI组件生成、API客户端编码、智能测试等具体场景,展示其对工作流的颠覆性重构。我们将深入其技术原理,提供可操作的实践路径,并展望在这一范式下,前端开发者如何从“代码劳工”转变为“规则制定者”和“智能工作流架构师”。 关键字:AI Skills、前端开发、工作流重构、低错误率、Prompt工程、元编程 引言:超越ChatGPT,迎接“可编程的智能体” 🚀 如果你还停留在用ChatGPT手动复制粘贴代码片段,偶尔还要为它生成的过时或错误代码“擦屁股”的阶段,那么你正在浪费AI 90%的潜力。前端开发的范式革命已然来临,其核心不再是“会不会用AI”,而是“如何系统化、

【详细精选】前端面试题(2026精选附详细解答)包含10w数据展示优化、前端核心

【详细精选】前端面试题(2026精选附详细答案)包含10w数据展示优化、前端核心 * 前端面试题详细解答 * 1. ES6新特性详解(重要10个) * 核心特性 * 其他重要特性 * 2. 什么是跨域 * 同源策略 * 跨域解决方案 * 1.CORS(跨域资源共享) * 2.JSONP * 3. 代理服务器 * 4. WebSocket * 5. Nginx反向代理 * 3. 监听数组变化 * Vue2的实现原理 * Vue3的实现原理 * 4. v-if vs v-show * 原理对比 * 差异对比表 * 源码分析 * 5. 网页加载优化 * 性能指标(Core Web Vitals) * 优化策略 * 1. 代码优化 * 2. 资源优化 * 3. 缓存策略

gpt-oss-20b-WEBUI安装失败?这五个点必须检查

gpt-oss-20b-WEBUI安装失败?这五个点必须检查 你是不是也遇到过这样的情况:镜像已经部署完成,网页推理入口也点开了,但页面一直转圈、报错404、提示“Connection refused”,或者干脆连后台服务都起不来?别急着重装——gpt-oss-20b-WEBUI这类基于vLLM+OpenWebUI的轻量级开源推理镜像,安装失败往往不是模型本身的问题,而是几个关键环节被忽略了。 本文不讲从零编译、不堆参数配置,只聚焦一个目标:帮你快速定位并解决90%以上的部署卡点。我们结合真实部署日志、用户反馈和镜像运行机制,提炼出五个最常被跳过的检查项。它们不炫技、不复杂,但每一条都直击安装失败的核心原因。 1. 显存是否真够用?别被“双卡4090D”误导 镜像文档里写着“双卡4090D(vGPU),微调最低要求48GB显存”,但很多人忽略了这句话的潜台词:这是指vLLM推理时实际可用的显存,不是系统显示的总显存。 vLLM对显存的使用非常“挑剔”。它需要连续的大块显存来加载KV缓存,而GPU在启动过程中会被系统、驱动、X Server甚至NVIDIA Container