Python算法
Python 爬虫入门教程：从零开始学习网页抓取
介绍 Python 网络爬虫的基础知识与应用场景，涵盖环境配置、requests 与 BeautifulSoup 库的使用，以及编写第一个获取网页标题的爬虫脚本。内容包含核心组件详解、HTTP 请求方法、HTML 解析技巧，并强调了爬虫道德与法律规范，如遵守 robots.txt 协议及限制请求频率。适合初学者入门学习。
介绍 Python 网络爬虫的基础知识与应用场景，涵盖环境配置、requests 与 BeautifulSoup 库的使用，以及编写第一个获取网页标题的爬虫脚本。内容包含核心组件详解、HTTP 请求方法、HTML 解析技巧，并强调了爬虫道德与法律规范，如遵守 robots.txt 协议及限制请求频率。适合初学者入门学习。
网络爬虫（Web Crawler）是一种自动获取网页内容的程序，它像蜘蛛一样在互联网上'爬行'，收集和提取数据。
pip install requests beautifulsoup4 pandas
推荐使用 VS Code：Visual Studio Code - Code Editing. Redefined
first_crawler.pyimport requests
from bs4 import BeautifulSoup
# 目标网址
url = "https://example.com"
# 发送 HTTP 请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析 HTML 内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取网页标题
title = soup.title.string
print(f"网页标题：{title}")
else:
print(f"请求失败，状态码：{response.status_code}")
python first_crawler.py
网页标题：Example Domain
# GET 请求
response = requests.get(url)
# POST 请求
response = requests.post(url, data={'key': 'value'})
# 添加请求头（模拟浏览器）
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)
from bs4 import BeautifulSoup
# 创建解析器对象
soup = BeautifulSoup(html_content, 'html.parser')
# 查找元素
# 通过标签名
soup.find('div') # 查找第一个 div
soup.find_all('a') # 查找所有 a 标签
# 通过类名
soup.find(class_='header')
# 通过 ID
soup.find(id='main-content')
# 组合查找
soup.find('div', class_='article')
在网站根目录后添加 /robots.txt，例如： https://example.com/robots.txt
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online