Amazon SageMaker 部署 AIGC 应用:训练 - 优化 - 部署 - Web 前端集成应用实践

Amazon SageMaker 部署 AIGC 应用:训练 - 优化 - 部署 - Web 前端集成应用实践

Amazon SageMaker 部署 AIGC 应用:训练 - 优化 - 部署 - Web 前端集成应用实践

背景

在这里插入图片描述
Amazon SageMaker 汇集广泛采用的亚马逊云科技机器学习和分析功能,统一访问所有数据,为分析和人工智能提供一体式体验,使用亚马逊云科技机工具进行模型开发、生成式人工智能、数据处理和 SQL 分析,在融通式合作开发工作室中加快协作和构建,借助强大的生成式人工智能软件开发助手 Amazon Q 开发者版提升效率,无论数据存储在数据湖、数据仓库,还是第三方或联合数据来源中,均可访问所有数据,同时内置治理功能可满足企业安全需求。

前言

本文将通过 Amazon SageMaker Notebook 实例完成 AIGC 模型的测试与验证,再将模型部署至 Amazon SageMaker Inference Endpoint 实现服务化,最后利用 Amazon Cloud 9 调试 Web 应用,并调用已部署的 SageMaker Inference Endpoint 实现 AIGC 模型的实际应用

Amazon SageMaker 部署 AIGC 模型

步骤一:创建亚马逊云科技账户
1、注册亚马逊云科技官网



2、进入注册页面(使用电子邮件地址进行注册)进入 创建亚马逊云科技账户页面(如果最近登录过亚马逊云科技,请选择登录控制台。如果未显示创建新亚马逊云科技账户,请首先选择登录其他账户,然后选择创建新亚马逊云科技账户)根用户电子邮件地址 中,输入电子邮件地址,编辑亚马逊云科技账户名称,然后选择验证电子邮件地址,该地址会收到一封包含验证码的亚马逊云科技验证电子邮件

安全验证

验证电子邮件地址(输入收到的代码,然后选择验证,可能需要几分钟才会收到代码,检查电子邮件和垃圾邮件文件夹中是否有验证码电子邮件)



3、设置用户信息:输入根用户密码和确认根用户密码,选择个人或企业



4、添加付款信息( 账单信息页面上,输入付款方式的信息,然后选择验证并添加,必须先添加有效的支付方式才能继续注册)



5、用户信息验证(选择接收验证码的联系方式、选择电话号码的国家或地区代码)



6、客户验证与激活账户(选择亚马逊云科技支持服务计划)



7、注册成功

步骤二:创建Amazon SageMaker Notebook实例
1、登录亚马逊云科技控制台



2、进入SageMaker服务,查找服务处搜索SageMaker



3、进入Notebook笔记本实例控制面板(左侧菜单栏,点击笔记本实例,进入笔记本Notebook实例控制面板)



4、创建笔记本实例


5、配置笔记本实例设置,创建笔记本实例详情页中,配置笔记本实例的基本信息(设置笔记本实例的名称、选择笔记本实例、以及存储的大小)



6、配置笔记本实例权限(笔记本实例创建一个IAM角色,用于调用调用包括 SageMaker 和 S3 在内的其他服务,例如上传模型,部署模型等)IAM角色出,点击下拉列表,选择创建新角色



7、弹出的配置页面中,默认配置即可



8、成功创建IAM角色



9、创建实例(检查先前配置的信息,确认无误点击创建笔记本实例)



10、等待实例创建成功,进入Jupyter Notebook


11、构建Stable-Diffusion环境(Jupyter Lab控制台,选择最下面的Terminal)



12、下载Notebook代码文件



13、打开刚刚下载的Notebook文件,内核选择conda_pytorch_p39

步骤三:Amazon Cloud 9 构建前后端Web应用
1、亚马逊云科技控制台进入 Cloud9 服务


2、创建Cloud 9 环境



3、配置Cloud 9 环境名字配置

其他部分配置保持默认,等待创建创建成功即可



4、进入Amazon Cloud9 环境



5、Cloud9 下方的控制台中输入以下指令下载保存Web应用程序代码压缩文件,并将该压缩文件进行解压

解压后SampleWebApp文件夹包含以下内容:后端代码 app.py:接收前端请求并调用 SageMaker Endpoint 将文字生成图片两个前端html文件 image.html 和 index.html

6、Amazon Cloud9上安装 Flask 和 boto3





7、运行 app.py,并且点击 Amazon Cloud9 上方的 Run 按钮运行代码



8、预览web前端页面



9、Amazon Cloud9 环境打开web 页面



10、输入信息生成图片(自定义图片长度和宽度,Prompt 输入框处输入语句或描绘性词汇生成图片)输入语句时,详细描述需求信息,以便AI绘制出的图片更贴合预期,比如通过描述性词语,如 cartoon style、van gogh style、realistic 表明图片的整体风格例如:可将长度和宽度都设置成512,输入以下描绘性语句生成一张卡通风格的宇航员猴子图片,以及一张超级英雄的图片



11、成功页面展示



Amazon SageMaker工作原理

在这里插入图片描述
Amazon SageMaker 全托管机器学习服务,通过整合数据处理、模型训练、超参数优化、部署推理的全流程能力,支持开发者使用 Notebook 实例快速调试 AIGC 模型,借助分布式训练集群加速算法迭代,并将模型高效部署为可自动扩缩容的 Inference Endpoint,同时深度集成亚马逊云科技生态S3 存储、CloudWatch 监控等,以容器化架构和 Kubernetes 集群管理实现从开发到生产的无缝衔接,大幅降低机器学习工程化门槛完全托管服务:用户无需操心服务器等基础设施的管理,SageMaker 负责处理硬件资源的配置、管理和维护,将用户从复杂的运维工作中解放出来,使开发者专注于机器学习模型的开发,大大降低运维成本和复杂性集成开发环境强大:提供基于 Web 的可视化界面,集成了数据探索、模型训练、调试、评估和部署等所有机器学习开发步骤,为数据科学团队提供了一站式的工作平台,能显著提高工作效率支持自动模型构建:依据用户提供的数据自动构建、训练和调整最佳机器学习模型,无需人工进行特征准备、算法测试和模型参数优化等繁琐工作,让没有深厚机器学习专业知识的用户也能快速构建分类和回归模型

总结

在这里插入图片描述
本文通过创建亚马逊云科技账户、搭建 SageMaker Notebook 实例测试 Stable-Diffusion 模型、利用 Cloud9 构建 Web 应用并调用模型 Endpoint,实现 AIGC 应用从训练到前端集成的全流程实践,展现 SageMaker 全托管、集成开发及自动化模型构建的核心优势,降低 AIGC 工程化门槛。如果小伙伴们感兴趣可以访问亚马逊云科技官网进行免费体验哈!
友情提示:如果决定不再使用服务的话,记得要在控制台关闭服务,以防超过免费额度产生扣费

Read more

Llama-3.2-3B效果实测:Ollama部署后3B模型在中文会议语音转写文本后的摘要压缩率与信息保留率

Llama-3.2-3B效果实测:Ollama部署后3B模型在中文会议语音转写文本后的摘要压缩率与信息保留率 1. 实测背景与核心关注点 你有没有遇到过这样的场景:一场两小时的线上会议结束,语音转写工具生成了8000多字的逐字稿,密密麻麻全是“嗯”“啊”“这个那个”,关键结论却藏在一堆口语碎片里?人工通读耗时、外包摘要成本高、大模型又动辄要GPU显存——这时候,一个能在笔记本上跑起来、又真能抓住重点的小模型,就特别实在。 Llama-3.2-3B就是这样一个“轻量但不轻浮”的选择。它不是参数堆出来的庞然大物,而是Meta专为多语言对话和摘要任务打磨过的30亿参数模型。我们这次没聊它多快、多省显存,而是直接把它放进真实工作流里:用Ollama一键拉起服务,把真实的中文会议语音转写文本喂给它,看它到底能把8000字压到多少字,同时还能保住多少关键信息。 实测不玩虚的——我们统计了压缩率(输出字数 ÷ 输入字数)和信息保留率(由三位有会议纪要经验的同事盲评打分,聚焦“是否遗漏决策项、是否丢失责任人、是否模糊时间节点、是否漏掉待办事项”四个硬指标),所有数据都来自同一组12份真实会议

Whisper自动转录:为HeyGem提供精准字幕与时间轴参考

Whisper自动转录:为HeyGem提供精准字幕与时间轴参考 在内容创作迈向智能化的今天,一个日益突出的问题摆在我们面前:如何以更低的成本、更高的效率批量生成高质量讲解类视频?传统真人出镜+后期剪辑的模式不仅耗时费力,还难以应对高频更新的内容需求。尤其对于企业培训、知识科普、数字客服等场景,自动化视频生成已成为刚需。 正是在这样的背景下,HeyGem 数字人视频系统应运而生——它不依赖真人演员,而是通过音频驱动虚拟形象“说话”,实现从声音到画面的端到端合成。而在这条技术链中,最关键的一步,就是让数字人的“嘴”能真正跟上“声音”。这背后,离不开一套高精度、低延迟、可本地部署的语音识别引擎。Whisper,正扮演了这个核心角色。 为什么是 Whisper? 市面上的语音识别方案不少,但大多数都不适合集成进像 HeyGem 这样的本地化 AI 视频系统。云服务虽然开箱即用,但存在隐私风险、网络依赖和持续计费问题;开源模型如 DeepSpeech 虽然免费,但在多语言支持和噪声环境下的表现远不如人意。 Whisper 却是个例外。它是

Z-Image-Turbo对比Stable Diffusion Turbo:速度实测差异

Z-Image-Turbo对比Stable Diffusion Turbo:速度实测差异 1. 为什么这次对比值得你花三分钟看完 你是不是也遇到过这样的情况: 想快速生成一张配图,结果等了20秒,画面刚出来,灵感早飞走了; 想批量做十张产品图,发现每张都要调参、重跑,时间全耗在等待上; 或者刚买了一张RTX 4070(12GB显存),却发现很多热门模型根本跑不动,只能眼睁睁看着别人用——而你连“试试看”的机会都没有。 这次我们不聊参数、不讲架构,就干一件事:把Z-Image-Turbo和Stable Diffusion Turbo放在同一台机器上,用完全相同的提示词、相同分辨率、相同硬件环境,掐表实测——到底谁更快?快多少?快得稳不稳?值不值得换? 答案很直接:Z-Image-Turbo在消费级显卡上,平均比Stable Diffusion Turbo快1.8倍,且首帧响应快2.3倍;更关键的是,它能在16GB显存的GPU上稳定跑满8步出图,而SD Turbo在同样配置下常因显存溢出被迫降步或失败。 这不是理论推演,

WhisperLiveKit 会议纪要模板定制:适配不同场景的纪要样式

核心定制原则 * 场景分类:区分正式会议、头脑风暴、项目复盘等场景,匹配对应的结构化模板。 * 关键元素保留:时间、参与人、决议事项、待办任务为通用必选项,其他字段按需增减。 正式会议模板示例 标题格式:[类型]项目名_日期(如[决策]Q3预算会_20240520) 内容结构: * 背景说明(3行以内) * 决议事项(编号列表,含责任人与DDL) * 争议点记录(斜体标注未达成共识项) * 附件链接(直接粘贴WhisperLiveKit生成的会议录音/转录URL) 创意讨论模板示例 标题格式:[脑暴]主题_发起人 内容结构: * 灵感池(无序列表记录所有点子) * 投票结果(用✅×3形式标记票数) * 可行性筛选(分立即执行/长期储备两栏表格) 技术评审模板示例 标题格式:[评审]系统名_