Python AI入门:从Hello World到图像分类

Python AI入门:从Hello World到图像分类

一、Python AI的Hello World

1.1 环境搭建

首先,我们需要搭建Python AI的开发环境:

# 安装PyTorch pip install torch torchvision # 安装其他依赖 pip install numpy matplotlib 

1.2 第一个AI程序

让我们来编写一个最简单的AI程序 - 线性回归:

import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt # 生成训练数据 x = torch.linspace(0,10,100).unsqueeze(1) y =2* x +1+ torch.randn(100,1)*0.5# 定义模型classLinearModel(nn.Module):def__init__(self):super(LinearModel, self).__init__() self.linear = nn.Linear(1,1)defforward(self, x):return self.linear(x)# 创建模型实例 model = LinearModel()# 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.01)# 训练模型 epochs =100for epoch inrange(epochs):# 前向传播 outputs = model(x)# 计算损失 loss = criterion(outputs, y)# 反向传播 optimizer.zero_grad() loss.backward()# 更新参数 optimizer.step()if(epoch +1)%10==0:print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}')# 测试模型with torch.no_grad(): predicted = model(x)# 可视化结果 plt.scatter(x.numpy(), y.numpy(), label='Original data') plt.plot(x.numpy(), predicted.numpy(),'r-', label='Fitted line') plt.legend() plt.show()print("Hello World! AI模型训练完成")

二、从线性回归到神经网络

2.1 神经网络基础

线性回归是最简单的AI模型,而神经网络则是更复杂的模型。让我们来构建一个简单的神经网络:

import torch import torch.nn as nn import torch.optim as optim # 生成非线性数据 x = torch.linspace(-1,1,100).unsqueeze(1) y = x.pow(2)+0.2* torch.randn(100,1)# 定义神经网络模型classNeuralNet(nn.Module):def__init__(self):super(NeuralNet, self).__init__() self.hidden = nn.Linear(1,10) self.output = nn.Linear(10,1)defforward(self, x): x = torch.relu(self.hidden(x)) x = self.output(x)return x # 创建模型实例 model = NeuralNet()# 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01)# 训练模型 epochs =1000for epoch inrange(epochs): outputs = model(x) loss = criterion(outputs, y) optimizer.zero_grad() loss.backward() optimizer.step()if(epoch +1)%100==0:print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}')# 测试模型with torch.no_grad(): predicted = model(x)# 可视化结果import matplotlib.pyplot as plt plt.scatter(x.numpy(), y.numpy(), label='Original data') plt.plot(x.numpy(), predicted.numpy(),'r-', label='Neural network prediction') plt.legend() plt.show()

2.2 理解神经网络的工作原理

神经网络的基本原理是通过多层神经元的组合,学习数据中的复杂模式:

  1. 输入层:接收原始数据
  2. 隐藏层:提取数据特征
  3. 输出层:产生预测结果
  4. 激活函数:引入非线性,使网络能够学习复杂模式

三、图像分类入门

3.1 数据准备

我们将使用MNIST数据集进行图像分类:

import torch import torchvision import torchvision.transforms as transforms # 数据预处理 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,),(0.5,))])# 加载MNIST数据集 trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True) testset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False)# 查看数据import matplotlib.pyplot as plt import numpy as np # 函数:显示图像defimshow(img): img = img /2+0.5# 反归一化 npimg = img.numpy() plt.imshow(np.transpose(npimg,(1,2,0))) plt.show()# 获取一批训练数据 dataiter =iter(trainloader) images, labels =next(dataiter)# 显示图像 imshow(torchvision.utils.make_grid(images))print('标签:',' '.join(f'{labels[j]}'for j inrange(4)))

3.2 构建图像分类模型

现在我们来构建一个用于图像分类的卷积神经网络:

import torch.nn as nn import torch.nn.functional as F classNet(nn.Module):def__init__(self):super(Net, self).__init__()# 卷积层 self.conv1 = nn.Conv2d(1,32,3,1) self.conv2 = nn.Conv2d(32,64,3,1)# 池化层 self.pool = nn.MaxPool2d(2,2)# 全连接层 self.fc1 = nn.Linear(64*12*12,128) self.fc2 = nn.Linear(128,10)defforward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = x.view(-1,64*12*12) x = F.relu(self.fc1(x)) x = self.fc2(x)return x # 创建模型实例 net = Net()print(net)

3.3 训练图像分类模型

import torch.optim as optim # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)# 训练模型 epochs =5for epoch inrange(epochs): running_loss =0.0for i, data inenumerate(trainloader,0):# 获取输入 inputs, labels = data # 清零梯度 optimizer.zero_grad()# 前向传播 outputs = net(inputs)# 计算损失 loss = criterion(outputs, labels)# 反向传播 loss.backward()# 更新参数 optimizer.step()# 统计损失 running_loss += loss.item()if i %100==99:print(f'[{epoch +1}, {i +1}] loss: {running_loss /100:.3f}') running_loss =0.0print('训练完成')

3.4 测试模型

# 测试模型 correct =0 total =0with torch.no_grad():for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data,1) total += labels.size(0) correct +=(predicted == labels).sum().item()print(f'测试准确率: {100* correct / total:.2f}%')# 查看预测结果 dataiter =iter(testloader) images, labels =next(dataiter)# 显示图像 imshow(torchvision.utils.make_grid(images))print('真实标签:',' '.join(f'{labels[j]}'for j inrange(4)))# 预测 outputs = net(images) _, predicted = torch.max(outputs,1)print('预测标签:',' '.join(f'{predicted[j]}'for j inrange(4)))

四、从Rust开发者角度的思考

4.1 与Rust的对比

作为一个Rust开发者,学习Python AI有以下感受:

  • 开发效率:Python的开发效率比Rust高,尤其是在AI开发中
  • 生态系统:Python的AI生态系统非常丰富,有大量成熟的库
  • 性能:Python的性能虽然不如Rust,但在AI开发中,PyTorch等库已经做了很多优化
  • 类型系统:Python的动态类型与Rust的静态类型有很大不同,需要适应

4.2 学习建议

对于Rust开发者学习Python AI,我有以下建议:

  • 利用系统思维:Rust的系统级编程经验有助于理解AI模型的底层实现
  • 注重代码质量:保持Rust的代码风格,写出清晰、可维护的Python代码
  • 实践项目:通过实际项目巩固学习成果
  • 跨语言学习:将Rust和Python结合起来,发挥各自的优势

五、总结

通过从Hello World到图像分类的学习,我已经初步掌握了Python AI的基本概念和使用方法。作为一个Rust开发者,我发现Python AI的学习过程既有挑战也有机遇。

挑战在于Python的动态类型和内存管理与Rust有很大不同,需要适应新的思维方式。机遇在于Python的AI生态系统非常丰富,开发效率高,能够快速实现AI模型。

Read more

突破网页数据集获取难题:Web Unlocker API 助力 AI 训练与微调数据集全方位解决方案

突破网页数据集获取难题:Web Unlocker API 助力 AI 训练与微调数据集全方位解决方案

突破网页数据集获取难题:Web Unlocker API 助力 AI 训练与微调数据集全方位解决方案 背景 随着AI技术的飞速发展,诸如DeepSeek R1、千问QWQ32、文小言、元宝等AI大模型迅速崛起。在AI大模型训练和微调、AI知识库建设中,数据集的获取已成为不可或缺的基础。尤其是在面对各式各样的网页数据结构时,将其整理成可用的数据集是一项极具挑战的任务。开发者不仅需要付出大量的开发和人工成本,还需应对复杂的网页数据获取难题。在这种情况下,一款能够自动化解决网页数据获取问题的工具变得尤为重要。 本文将介绍网页解锁器Web Unlocker API、网页抓取Web-Scraper以及搜索引擎结果页SERP API等工具,特别适合中小企业解决商业化网页数据集问题,展示其如何解决AI数据集网页抓取的难题,提供高效、自动化的数据获取解决方案。 什么是Web Unlocker API工具? Web Unlocker API是基于Bright Data的代理基础设施开发的,具备三个关键组件:请求管理、浏览器指纹伪装和内容验证。通过这些功能,它能够自动化处理所有网页解锁操作

前端流式输出实现详解:从原理到实践

前端流式输出实现详解:从原理到实践

前端流式输出实现详解:从原理到实践 * 前言 * 一、流式输出核心原理 * 1.1 什么是流式输出? * 1.2 技术优势对比 * 1.3 关键技术支撑 * 二、原生JavaScript实现方案 * 2.1 使用Fetch API流式处理 * 关键点解析: * 2.2 处理SSE(Server-Sent Events) * 三、主流框架实现示例 * 3.1 React实现方案 * 3.2 Vue实现方案 * 四、高级优化策略 * 4.1 性能优化 * 4.2 用户体验增强 * 4.3 安全注意事项 * 五、实际应用案例 * 5.1 聊天应用实现

企业微信群机器人Webhook配置全攻略:从创建到发送消息的完整流程

企业微信群机器人Webhook配置全攻略:从创建到发送消息的完整流程 在数字化办公日益普及的今天,企业微信作为国内领先的企业级通讯工具,其群机器人功能为团队协作带来了极大的便利。本文将手把手教你如何从零开始配置企业微信群机器人Webhook,实现自动化消息推送,提升团队沟通效率。 1. 准备工作与环境配置 在开始创建机器人之前,需要确保满足以下基本条件: * 企业微信账号:拥有有效的企业微信管理员或成员账号 * 群聊条件:至少包含3名成员的群聊(这是创建机器人的最低人数要求) * 网络环境:能够正常访问企业微信服务器 提示:如果是企业管理员,建议先在"企业微信管理后台"确认机器人功能是否已对企业开放。某些企业可能出于安全考虑会限制此功能。 2. 创建群机器人 2.1 添加机器人到群聊 1. 打开企业微信客户端,进入目标群聊 2. 点击右上角的群菜单按钮(通常显示为"..."或"⋮") 3. 选择"添加群机器人"选项 4.

GTE-large实战案例:社区团购群聊分析——人物实体+交易意图+满意度识别

GTE-large实战案例:社区团购群聊分析——人物实体+交易意图+满意度识别 1. 项目概述与背景 社区团购群聊已经成为现代生活中不可或缺的购物方式,每天产生大量的聊天记录。这些聊天中蕴含着丰富的商业价值信息:谁在购买什么、购买意向如何、对商品是否满意等。传统的人工分析方式效率低下,且难以处理大规模数据。 今天我们要介绍的是基于GTE-large模型的智能分析方案。这个方案能够自动从群聊记录中提取关键信息,包括识别聊天中的人物实体、分析交易意图、判断用户满意度等。通过这个工具,团购群管理者可以快速了解群内动态,优化商品推荐,提升用户购物体验。 GTE-large(General Text Embedding)是一个强大的中文文本向量模型,在通用领域表现出色。我们使用的是ModelScope平台上的iic/nlp_gte_sentence-embedding_chinese-large模型,它支持多种自然语言处理任务,特别适合处理中文社区聊天这种非结构化文本数据。 2. 核心功能解析 2.1 人物实体识别 在社区团购群聊中,识别出关键人物实体是分析的基础。GTE-la