SpringAI 大模型应用开发篇-SpringAI 项目的新手入门知识

SpringAI 大模型应用开发篇-SpringAI 项目的新手入门知识
🔥博客主页: 【小扳_-ZEEKLOG博客】
❤感谢大家点赞👍收藏⭐评论✍

文章目录

        1.0 SpringAI 概述

        1.1 大模型的使用

        2.0 SpringAI 新手入门

        2.1 配置 pom.xml 文件

        2.2 配置 application.yaml 文件

        2.3 配置 ChatClient

        2.4 同步调用

        2.5 流式调用

        2.6 System 设定

        2.7 日志功能

        2.8 会话记忆功能

        2.8.1 ChatMemory

        2.8.2 添加会话记忆功能


        1.0 SpringAI 概述

        目前大模型应用开发最常见的框架就是 LangChain,然而 LangChain 是基于 Python 语言,虽然有 LangChain4j,但是对于大量使用 Spring 生态的应用来说,适配性就稍微差了些。

        而 Spring 公司推出的 SpringAI 框架,充分利用了 Spring 框架中 AOP、IOC 的能力,可以与现有的 Java 项目无缝融合,非常方便。

        当然,SpringAI 要求的 JDK 版本至少是 JDK17,SpringBoot 也必须是 3.x 的版本才可以,所以如果想要使用 SpringAI,必须先升级 JDK 和 SpringAI 版本才行。

        如果是比较老的项目,也可以使用 LangChain4j,它要求的最低 JDK 版本为 JDK8。

        1.1 大模型的使用

        首先要明确一点,大模型应用开发并不是在浏览器中跟 AI 聊天。而是通过访问模型对外暴露的 API 接口,实现与大模型的交互。

        因此,企业首先需要有一个可访问的大模型,通常有三种选择:

        1)使用开放的大模型 API;

        本次演示的都是使用开放的大模型 API,只需要选择自己合适的大模型,创建出自己的 API Key 就能免费使用很长时间了:

        2)在云平台部署稀有大模型;

        3)在本地服务器部署稀有大模型;

        2.0 SpringAI 新手入门

        2.1 配置 pom.xml 文件

        首先,在 SpringBoot 项目中引入 SpringAI 起步依赖:

        接着,在项目 pom.xml 中添加 SpringAI 的版本信息:

        然后,添加 SpringAI 的依赖管理项:

        最终,完整 pom.xml 依赖如下:

        除了以上 SpringAI 的依赖之外,我还额外引入了在之后的项目开发中所用到的依赖。

        2.2 配置 application.yaml 文件

        我们现在使用的是开放大模型的 API,需要添加以下内容:

        2.3 配置 ChatClient

代码解读:
    ChatClient.builder: 会得到一个 ChatClient.Builder 工厂对象,利用它可以自由选择模型、添加各种自定义配置。

        2.4 同步调用

        接下来,我们定义一个 Controller,在其中接收用户发送的提示词,然后把提示词发送给大模型,交给大模型处理,拿到结果后返回。

        注意,基于 call() 方法的调用属于同步调用,需要所有响应结果全部返回后才能返回给前端。

启动项目,在浏览器中访问:http://localhost:8080/ai/chat?prompt=你好

        2.5 流式调用

        同步调用需要等待很长时间页面才能看到结果,用户体验不好。为了解决这个问题,我们可以改进调用方式为流式调用。

        在 SpringAI 中使用了 WebFlux 技术实现流式调用。

        重启测试,再次访问:

        2.6 System 设定

        可以发现,当我们询问 AI 你是谁的时候,它回答自己是 DeepSeek-R1,这是大模型底层的设定。如果我们希望 AI 按照新的设定工作,就需要给它设置 System 背景信息。

        在 SpringAI 中,设置 System 信息非常方便,不需要在每次发送时封装到 Message,而是创建 ChatClient 时指定即可:

        2.7 日志功能

        默认情况下,应用于 AI 的交互时不记录日志的,我们无法得知 SpringAI 组织的提示词到底长什么样,有没有问题。这样不方便我们调试。

        SpringAI 基于 AOP 机制实现与大模型对话过程的增强、拦截、修改等功能。所有的增强通知都需要实现 Advisor 接口。

        Spring 提供了一些 Advisor 的默认实现,来实现一些基本的增强功能:

        1)SimpleLoggerAdvisor:日志记录的 Advisor。
        2)MessageChatMemoryAdvisor:会话记忆的 Advisor。
        3)QuestionAnswerAdvisor:实现 RAG 的 Advisor。

        只需要在配置 ChatClient  添加日志记录 Advisor:

        接下来,修改日志级别:

        重启项目,再次和 AI 聊天就可以在控制台上看到 AI 的日志输出了。

        2.8 会话记忆功能

        现在,我们的 AI 聊天机器人是没有记忆功能的,上一次聊天的内容,下一次就忘掉了。我们之前说过,让 AI 有会话记忆的方式就是把每一次历史对话内容拼接到 Prompt 中,一起发送过去。是不是还挺麻烦的。别担心,好消息是,我们并不需要自己来拼接,SpringAI 自带了会话记忆功能,可以帮我们把历史会话保存下来,下一次请求 AI 时会自动拼接,非常方便。

        2.8.1 ChatMemory

        会话记忆功能同样是基于 AOP 实现,Spring 提供了一个 MessageChatMemoryAdvisor 的通知,我们可以像之前添加日志通知一样添加到 ChatClient 即可。

        不过,要注意的是,MessageChatMemoryAdvisor 需要指定一个 ChatMemory 实例,也就是会话历史保存的方式。

ChatMemory 接口声明如下:

        可以看到,所有的会话记忆都是与 conversationid 有关联的,也就是会话 Id,将来不同会话 id 的记忆自然是分开管理的。

        目前,在 SpringAI 中有两个 ChatMemory 的实现:
        1)InMemoryChatMemory:会话历史保存在内存中
        2)CassandraChatMemory:会话保存在 Cassandra 数据库中(需要引入额外依赖,并且绑定了向量数据库,不够灵活)

        2.8.2 添加会话记忆功能

        首先注册 chatMemory 对象:

        然后添加到 ChatClient 中:

        最后在和 AI 聊天的时候,为了区分每一个用户对应着不同的会话记录,因此需要传入用户 ID 进行区分:

Read more

Flutter 三方库 drift_postgres 的鸿蒙化适配指南 - 实现高效、稳定的远程 PostgreSQL 数据库接入

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 drift_postgres 的鸿蒙化适配指南 - 实现高效、稳定的远程 PostgreSQL 数据库接入 在 OpenHarmony 应用开发中,处理复杂的数据持久化需求是架构设计的重中之重。除了本地 SQL 数据库外,直接连接远程 PostgreSQL 数据库也成为许多工业级应用的刚需。本文将深入探讨 drift_postgres 在鸿蒙系统上的适配实战,助力开发者构建强大的数据驱动应用。 前言 drift 是 Flutter 生态中最受欢迎的响应式持久化框架。而 drift_postgres 做为它的重要后端实现,使得我们可以在鸿蒙端直接操作远端数据库,就像操作本地 sqlite 一样丝滑。在鸿蒙设备(如平板或工业手持终端)需要与中央数据库实时同步的高频场景下,其价值不可估量。 一、原理分析 / 概念介绍

By Ne0inhk
构建AI临床副驾驶:基于Go的电子病历智能助手与HIS对接实战(上)

构建AI临床副驾驶:基于Go的电子病历智能助手与HIS对接实战(上)

摘要 本文旨在为医疗信息化开发者提供一套可落地的“AI临床副驾驶”设计方案,通过Go语言构建一个轻量、高效的中间层服务,与医院现有的HIS/EMR系统无缝对接。我们聚焦于三个典型智能场景——复诊记忆延伸、首诊导航提醒、病历质控与术语规范,展示如何在不侵入原有系统的情况下,为医生提供实时、精准的辅助决策信息。文章涵盖总体架构设计、多种HIS对接方式(REST/HL7/FHIR/DB视图)、接口契约定义、关键业务流程、完整的Go代码骨架,以及安全合规、部署运维等实践要点。所有代码均基于生产环境经验提炼,可作为项目直接启动的参考原型。 目录 1. 引言:电子病历的“副驾驶”时代 2. 总体架构:Go中间层 + HIS主系统 1. 设计原则 2. 组件划分

By Ne0inhk
Flutter 组件 test_track 适配鸿蒙 HarmonyOS 实战:全链路追踪与灰度治理,构建全场景 A/B 测试与特性分发架构

Flutter 组件 test_track 适配鸿蒙 HarmonyOS 实战:全链路追踪与灰度治理,构建全场景 A/B 测试与特性分发架构

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 test_track 适配鸿蒙 HarmonyOS 实战:全链路追踪与灰度治理,构建全场景 A/B 测试与特性分发架构 前言 在鸿蒙(OpenHarmony)生态迈向精细化运营、涉及多端设备同步实验、大规模特性灰度发布及实时埋点分析的背景下,如何实现高可靠的“特性开关(Feature Flags)”与“用户行为追踪”,已成为决定应用迭代效率与商业决策准确性的“神经中枢”。在鸿蒙设备这类强调分布式协同与离线可用性的场景下,如果 A/B 测试逻辑依然采用简单的在线同步参数,由于由于网络波动或设备流转时的身份不一致,极易由于由于配置缺失导致应用进入不可预知的逻辑分支。 我们需要一种能够实现配置本地快照、支持访客(Visitor)身份关联且具备高可靠异步追踪记录能力的实验治理框架。 test_track 为 Flutter 开发者引入了工业级的分布式实验分发方案。它不仅支持基于标识符的恒定分流,更内置了健壮的离线追踪队列。在适配到鸿蒙

By Ne0inhk
Flutter 三方库 workiva_analysis_options 的鸿蒙化适配指南 - 实现工业级的代码质量审计与 Linter 规约对齐、支持端侧工程架构健康度自动检测实战

Flutter 三方库 workiva_analysis_options 的鸿蒙化适配指南 - 实现工业级的代码质量审计与 Linter 规约对齐、支持端侧工程架构健康度自动检测实战

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 workiva_analysis_options 的鸿蒙化适配指南 - 实现工业级的代码质量审计与 Linter 规约对齐、支持端侧工程架构健康度自动检测实战 前言 在进行 Flutter for OpenHarmony 的企业级大型分布式项目开发时,如何统一上百名开发者的代码风格?简单的 analysis_options.yaml 默认配置往往无法满足金融、工业等严苛领域对代码健壮性、可维护性的极致要求。workiva_analysis_options 合集了来自顶级工程实践的代码静态分析规约。本文将探讨如何在鸿蒙端构建一道坚不可摧的代码质量防线。 一、原直观解析 / 概念介绍 1.1 基础原理 该库本质上是一套高度严谨的 Linter 指令集。它通过对 Dart 核心分析引擎建议集的精妙筛选,强制开启了涉及内存安全(Avoid Unnecessary

By Ne0inhk