SpringAI 大模型应用开发篇-SpringAI 项目的新手入门知识

SpringAI 大模型应用开发篇-SpringAI 项目的新手入门知识
🔥博客主页: 【小扳_-ZEEKLOG博客】
❤感谢大家点赞👍收藏⭐评论✍

文章目录

        1.0 SpringAI 概述

        1.1 大模型的使用

        2.0 SpringAI 新手入门

        2.1 配置 pom.xml 文件

        2.2 配置 application.yaml 文件

        2.3 配置 ChatClient

        2.4 同步调用

        2.5 流式调用

        2.6 System 设定

        2.7 日志功能

        2.8 会话记忆功能

        2.8.1 ChatMemory

        2.8.2 添加会话记忆功能


        1.0 SpringAI 概述

        目前大模型应用开发最常见的框架就是 LangChain,然而 LangChain 是基于 Python 语言,虽然有 LangChain4j,但是对于大量使用 Spring 生态的应用来说,适配性就稍微差了些。

        而 Spring 公司推出的 SpringAI 框架,充分利用了 Spring 框架中 AOP、IOC 的能力,可以与现有的 Java 项目无缝融合,非常方便。

        当然,SpringAI 要求的 JDK 版本至少是 JDK17,SpringBoot 也必须是 3.x 的版本才可以,所以如果想要使用 SpringAI,必须先升级 JDK 和 SpringAI 版本才行。

        如果是比较老的项目,也可以使用 LangChain4j,它要求的最低 JDK 版本为 JDK8。

        1.1 大模型的使用

        首先要明确一点,大模型应用开发并不是在浏览器中跟 AI 聊天。而是通过访问模型对外暴露的 API 接口,实现与大模型的交互。

        因此,企业首先需要有一个可访问的大模型,通常有三种选择:

        1)使用开放的大模型 API;

        本次演示的都是使用开放的大模型 API,只需要选择自己合适的大模型,创建出自己的 API Key 就能免费使用很长时间了:

        2)在云平台部署稀有大模型;

        3)在本地服务器部署稀有大模型;

        2.0 SpringAI 新手入门

        2.1 配置 pom.xml 文件

        首先,在 SpringBoot 项目中引入 SpringAI 起步依赖:

        接着,在项目 pom.xml 中添加 SpringAI 的版本信息:

        然后,添加 SpringAI 的依赖管理项:

        最终,完整 pom.xml 依赖如下:

        除了以上 SpringAI 的依赖之外,我还额外引入了在之后的项目开发中所用到的依赖。

        2.2 配置 application.yaml 文件

        我们现在使用的是开放大模型的 API,需要添加以下内容:

        2.3 配置 ChatClient

代码解读:
    ChatClient.builder: 会得到一个 ChatClient.Builder 工厂对象,利用它可以自由选择模型、添加各种自定义配置。

        2.4 同步调用

        接下来,我们定义一个 Controller,在其中接收用户发送的提示词,然后把提示词发送给大模型,交给大模型处理,拿到结果后返回。

        注意,基于 call() 方法的调用属于同步调用,需要所有响应结果全部返回后才能返回给前端。

启动项目,在浏览器中访问:http://localhost:8080/ai/chat?prompt=你好

        2.5 流式调用

        同步调用需要等待很长时间页面才能看到结果,用户体验不好。为了解决这个问题,我们可以改进调用方式为流式调用。

        在 SpringAI 中使用了 WebFlux 技术实现流式调用。

        重启测试,再次访问:

        2.6 System 设定

        可以发现,当我们询问 AI 你是谁的时候,它回答自己是 DeepSeek-R1,这是大模型底层的设定。如果我们希望 AI 按照新的设定工作,就需要给它设置 System 背景信息。

        在 SpringAI 中,设置 System 信息非常方便,不需要在每次发送时封装到 Message,而是创建 ChatClient 时指定即可:

        2.7 日志功能

        默认情况下,应用于 AI 的交互时不记录日志的,我们无法得知 SpringAI 组织的提示词到底长什么样,有没有问题。这样不方便我们调试。

        SpringAI 基于 AOP 机制实现与大模型对话过程的增强、拦截、修改等功能。所有的增强通知都需要实现 Advisor 接口。

        Spring 提供了一些 Advisor 的默认实现,来实现一些基本的增强功能:

        1)SimpleLoggerAdvisor:日志记录的 Advisor。
        2)MessageChatMemoryAdvisor:会话记忆的 Advisor。
        3)QuestionAnswerAdvisor:实现 RAG 的 Advisor。

        只需要在配置 ChatClient  添加日志记录 Advisor:

        接下来,修改日志级别:

        重启项目,再次和 AI 聊天就可以在控制台上看到 AI 的日志输出了。

        2.8 会话记忆功能

        现在,我们的 AI 聊天机器人是没有记忆功能的,上一次聊天的内容,下一次就忘掉了。我们之前说过,让 AI 有会话记忆的方式就是把每一次历史对话内容拼接到 Prompt 中,一起发送过去。是不是还挺麻烦的。别担心,好消息是,我们并不需要自己来拼接,SpringAI 自带了会话记忆功能,可以帮我们把历史会话保存下来,下一次请求 AI 时会自动拼接,非常方便。

        2.8.1 ChatMemory

        会话记忆功能同样是基于 AOP 实现,Spring 提供了一个 MessageChatMemoryAdvisor 的通知,我们可以像之前添加日志通知一样添加到 ChatClient 即可。

        不过,要注意的是,MessageChatMemoryAdvisor 需要指定一个 ChatMemory 实例,也就是会话历史保存的方式。

ChatMemory 接口声明如下:

        可以看到,所有的会话记忆都是与 conversationid 有关联的,也就是会话 Id,将来不同会话 id 的记忆自然是分开管理的。

        目前,在 SpringAI 中有两个 ChatMemory 的实现:
        1)InMemoryChatMemory:会话历史保存在内存中
        2)CassandraChatMemory:会话保存在 Cassandra 数据库中(需要引入额外依赖,并且绑定了向量数据库,不够灵活)

        2.8.2 添加会话记忆功能

        首先注册 chatMemory 对象:

        然后添加到 ChatClient 中:

        最后在和 AI 聊天的时候,为了区分每一个用户对应着不同的会话记录,因此需要传入用户 ID 进行区分:

Read more

FRCRN开源模型实战指南:WebAssembly浏览器端轻量化部署探索

FRCRN开源模型实战指南:WebAssembly浏览器端轻量化部署探索 你有没有遇到过这样的场景?在线会议时,背景里突然传来装修的电钻声;录制播客时,窗外持续不断的车流声让人心烦;或者想用语音转文字工具,却因为环境嘈杂导致识别率惨不忍睹。传统的降噪软件要么效果平平,要么需要安装庞大的客户端,操作繁琐。 今天,我们来聊聊一个能直接在浏览器里解决这些问题的方案——将阿里巴巴达摩院开源的FRCRN语音降噪模型,通过WebAssembly技术部署到浏览器端。这意味着,你不需要安装任何软件,打开网页就能享受接近专业级的实时语音降噪效果。 这篇文章,我将带你从零开始,手把手完成FRCRN模型在浏览器端的轻量化部署。无论你是前端开发者想为产品增加AI降噪功能,还是普通用户想体验前沿的Web AI应用,都能跟着步骤轻松实现。 1. 为什么选择FRCRN与WebAssembly? 在深入技术细节之前,我们先搞清楚两个核心问题:FRCRN模型有什么特别之处?为什么要在浏览器里跑AI模型? 1.1 FRCRN:专为复杂噪声设计的降噪高手 FRCRN全称Frequency-Recurrent

WebPlotDigitizer:智能图表数据提取工具提升科研效率指南

WebPlotDigitizer:智能图表数据提取工具提升科研效率指南 【免费下载链接】WebPlotDigitizerWebPlotDigitizer: 一个基于 Web 的工具,用于从图形图像中提取数值数据,支持 XY、极地、三角图和地图。 项目地址: https://gitcode.com/gh_mirrors/we/WebPlotDigitizer 技术原理:智能数据解析的双层级架构 WebPlotDigitizer作为一款专业的图表数据提取工具,其核心优势在于创新性的双层级处理架构。这种架构将复杂的图像识别任务分解为"智能识别层"与"数据校准层",实现了从像素到数据的精准转换。 智能识别层:视觉语义理解的核心 智能识别层通过计算机视觉技术实现图表内容的深度理解。不同于传统的像素分析方法,该层能够识别图表的语义结构,包括坐标轴类型、数据系列分布和标签信息。这一过程主要由javascript/services/ai.js模块驱动,通过多维度特征提取实现图表类型的自动分类。 系统首先进行图像预处理,包括噪声过滤和对比度增强,为后续分析奠定基础。接着通过边缘检测算法识别

抖音热门视频解析:前端AI与营销增长领域的AI应用核心趋势

抖音热门视频解析:前端AI与营销增长领域的AI应用核心趋势

在抖音平台上,“前端AI”与“营销业务(广告投放、用户增长)”领域的AI应用内容呈现出强烈的实战导向与场景化特征。以下结合平台热门视频,从技术落地与业务增长双视角,解析核心趋势与实操价值。 一、前端AI领域:从“工具辅助”到“体验革新”的抖音热门方向 抖音前端开发者们的内容聚焦“AI如何让前端开发更高效、让用户体验更智能”,核心视频可分为两大流派: 1. AI驱动的前端开发效率革命 这类视频以“AI工具赋能前端全流程”为核心,抖音博主们热衷于展示“输入需求→AI生成→人工优化”的闭环。 • 代码生成与调试:例如博主“前端工程师阿乐”演示,输入“创建一个带懒加载和瀑布流布局的图片画廊组件,适配移动端”,AI工具(如Copilot、通义千问)能直接生成包含HTML结构、Tailwind CSS样式、JavaScript交互的完整代码,甚至自动处理边缘案例(如无图时的占位态)。若代码运行报错,AI还能智能分析报错信息并给出修复方案,将“

什么是 JWT?一文彻底搞懂 JSON Web Token(附 Spring Boot 实战)

视频看了几百小时还迷糊?关注我,几分钟让你秒懂! 你是否经常听到这些词: * “我们用 JWT 做登录认证” * “前端把 token 放在 Authorization 头里” * “JWT 无状态,适合分布式系统” 但你真的理解 JWT 到底是什么?它怎么工作?和 Session 有什么区别? 吗? 今天我们就用 通俗语言 + 图解 + Spring Boot 代码实战,带你从零彻底搞懂 JWT! 🧩 一、一句话解释 JWT JWT(JSON Web Token)是一种开放标准(RFC 7519),用于在网络应用间安全地传递“声明”(claims)的紧凑、自包含令牌。 简单说:JWT 就是一个加密的字符串,里面包含了用户身份信息,