AI对话应用接口开发全解析:同步接口+SSE流式+智能体+前端对接

AI对话应用接口开发全解析:同步接口+SSE流式+智能体+前端对接

AI对话应用接口开发

我们平时开发的大多数都是同步接口,也就是扥后端处理完再返回。但是对于AI应用,特别是响应时间较长的应用,可能会让用户失去耐心等待,因此推荐使用SSE技术实现实时流式输出,类似打字机效果,大幅度提升用户体验

开发AI对话同步接口

接下来我们先开发AI同步接口,对比学习。首先我们编写一个与"科泰旅游大师"对话的接口,使用常规同步的方式获得对话结果。

在controller包中新建ChatWithAIController,如下图所示:

编写同步接口:

 @RestController @RequestMapping("/ai") public class ChatWithAIController { // 注入TravelApp实例 @Resource private TravelApp travelApp; /* * 前端可以通过此方法获得一个ID * */ @GetMapping("/chat/new") public String newChat(){ return UUID.randomUUID().toString(); } // 与AI聊天(同步) @GetMapping("/chat/travel/sync") public String chat(String chatId,String message){ return travelApp.chat(chatId,message); } } 

通过/chat/new接口,让前端利用UUID生成会话ID,避免A用户能够通过猜测会话ID获取用户B的信息

同步接口代码也非常简单,直接使用注入的TravelApp实例对用户的问题进行回复

测试同步接口

启动springBoot项目,浏览器打开Swagger页面测试

浏览器打开http://localhost:8080/api/doc.html

获取到ChatId后测试/api/ai/chat/travel/sync时会出现很长的时间进度提示

开发AI对话SSE流式接口

Server-Sent Events(SSE,服务器推送事件)

SSE 是 HTML5 定义的基于 HTTP 的单向实时数据推送技术,客户端通过EventSource API 发起长连接,服务器以文本流持续推送事件,适配实时通知、行情更新等场景。

  1. 核心特性
    • 单向通信:仅服务器向客户端推送数据,客户端反馈需另发 HTTP 请求。
    • HTTP 原生支持:基于 HTTP/1.1 分块传输编码,无需协议升级,易穿透代理与防火墙。
    • 自动重连:浏览器内置重连机制,默认 3 秒重试,可通过retry字段自定义。
    • 轻量协议:文本流格式,支持dataeventidretry等字段,开销低。
  2. 应用场景:实时通知、股票行情、系统日志流、进度更新、IoT 状态推送等单向推送场景。

让TravelApp应用支持流式输出

要让接口支持流式输出,首先我们的TravelApp也不能使用同步的call()+chatResponse()方法返回String类型的全部内容

需要使用到Flux响应式对象进行异步操作。在TravelApp类增加一个StreamChat方法,(SpringAI系列的文章都是围绕一个项目写没有的内容在前面几期)

 /* * 与AI大模型流式对话接口 * @param chatId 会话ID * @param message 用户输入 * @return AI模型返回结果 * */ public Flux<String> streamChat(String chatId, String message){ FunctionCallback[] mcpTools = toolCallbackProvider.getToolCallbacks(); Flux<String> result = chatClient.prompt() .user(message) .advisors(spec -> spec .param(CHAT_MEMORY_CONVERSATION_ID_KEY,chatId) .param(CHAT_MEMORY_RETRIEVE_SIZE_KEY,10) ) .tools(aiTools) .tools(McpToolCallbackProxy.proxyAll(mcpTools)) .toolContext(Map.of("chatId",chatId)) .stream().content(); // log.info("chatResponse: {}",chatResponse); return result; }

实现SSE流式接口

实现流式接口一共有三种方式

1.直接返回Flux对象,但是必须添加SSE对应的MediaType

修改ChatWithAIController,增加方法chatWithTravelAppSEE_Flux:

 /* * SSE实现方式一:使用Flux * 必须设置produces为MediaType.TEXT_EVENT_STREAM_VALUE * */ @GetMapping(value = "/chat/travel/sse/flux",produces = MediaType.TEXT_EVENT_STREAM_VALUE) public Flux<String> chatWithTravelAppSEE_Flux(String chatId, String message){ return travelApp.streamChat(chatId,message); }

2.返回Flux对象,并设置泛型为ServerSentEvent

这种方式可省略MediaType的设置,但是要对String进行转化

 /* * SSE实现方式二:使用ServerSentEvent泛型 * */ @GetMapping("/chat/travel/sse/generic") public Flux<ServerSentEvent<String>> chatWithTravelAppSEE_Generic(String chatId, String message){ return travelApp.streamChat(chatId,message) .map(result -> ServerSentEvent.builder(result).build()); }

3.使用SseEmiter类型,通过send方法持续向SseEmiter对象发送消息,这种方式代码会稍微大一些,但是通用性和可控制性更强

 // 实现方式三使用SseEmitter @GetMapping("/chat/travel/sse/emitter") public SseEmitter chatWithTravelAppSEE_Emitter(String chatId, String message){ // 创建SseEmitter对象,设置超时时间为5分钟 SseEmitter emitter = new SseEmitter(300000L); // 订阅流 travelApp.streamChat(chatId,message).subscribe( result -> { try { // 发送数据 emitter.send(result); } catch (Exception e) { emitter.completeWithError(e); } }, // 错误处理 error -> emitter.completeWithError(error), () -> emitter.complete() ); return emitter; }

AI智能体应用接口开发

改造智能体支持流式运行

那么首先类似于TravelApp增加流式对话StreamChat(),我们也需要改造智能体BaseAgent增加支持流式运行的streamRun()方法:

 /* * 增加流式输出的运行方法 * @param userPrompt 用户输入 * @return SseEmitter * */ public SseEmitter streamRun(String userPrompt){ SseEmitter emitter = new SseEmitter(300000L); //使用异步线程处理,避免线程阻塞 CompletableFuture.runAsync(() -> { try{ if (this.state != AgentState.IDLE){ emitter.send("当前Agent正在运行中,请勿重复运行!"); emitter.complete(); return; } if (StrUtil.isBlank(userPrompt)){ emitter.send("请输入用户提示词!"); emitter.complete(); return; } // 添加用户输入 chatMemory.add(chatId,new UserMessage(userPrompt)); this.state = AgentState.RUNNING; try{ for (int i = 0; i < maxSteps && state != AgentState.FINISHED; i++) { currentStep = i + 1; log.info("开始执行第{}步...",currentStep); String result = "Step " + currentStep + ": " + step(); emitter.send(result); } if(currentStep >= maxSteps){ state = AgentState.FINISHED; emitter.send("已执行最大步骤数,任务结束!,最大步数为"+maxSteps); } // 正常完成 emitter.complete(); } catch (IOException e) { state = AgentState.ERROR; try{ emitter.send("执行出错,请检查!"); emitter.complete(); } catch (IOException ex) { throw new RuntimeException(ex); } }finally { cleanResources(); } } catch (IOException e) { emitter.completeWithError(e); } }); // 设置超时回调 emitter.onTimeout(() -> { this.state = AgentState.ERROR; this.cleanResources(); log.warn("SSE连接超时,会话ID: {}", chatId); }); // 设置完成回调 emitter.onCompletion(() -> { if(state == AgentState.RUNNING){ this.state = AgentState.FINISHED; } this.cleanResources(); log.debug("SSE连接完成,会话ID: {}", chatId); }); return emitter; }

上述代码看上去很复杂,但是大部分都是在原有run方法上改造,将结果信息交给SseEmitter通过send方法推送

添加智能体异步接口

有了异步运行的方法,我们就可以添加智能体接口了,修改ChatWithAIController
式调用 ktTravelManus 智能体的接口,

 @Resource private ToolCallback[] toolCallbacks; @Resource private ChatModel dashscopeChatModel; /* * 流式调用智能体 * @param message * @return * */ @GetMapping("/chat/manus/sse") public SseEmitter chatWithManus(String message){ TravelManus travelManus = new TravelManus(toolCallbacks,dashscopeChatModel); travelManus.setMaxSteps(20); return travelManus.streamRun(message); }

为了保证每次请求都是一个新的TravelManus实例,我们通过自己new 来创建,那么构造函数必要的工具列表aiTools 和dashscopeChatModel对象就需要注入进来
当然我们也可以直接注入 TravelManus,然后 Controller 添加@Scope 注解值为request,这样每次请求都会创建一个新的控制器,由于KtTravelManus 的@Scope是prototype,也会注入一个新的KtTravelManus 实例。

测试智能体接口

使用ApiPost测试

重启SpringBoott项目在,ApiPost中新增如下接口测试

接口链接:http://localhost:8080/api/ai/chat/manus/sse

参考参数:message=我想在长沙旅游三天预算3000,帮我规划旅程,并安排附近公里的酒店,并生成PDF

前端项目的生成和对接

由于我们这个项目不需要复杂的前端页面,我们可以使用AI编程工具来快速生成前端代码,极大提高开发效率

创建前端项目

(写这个项目需要具备前端的一些基础知识)在vscode打开终端,输入npm create vite@latest使用vite去创建一个最新的vue版本的项目

接着我们编写提示词给AI编程工具

参考提示词

你是一位专业的前端开发,请帮我根据下列信息来生成对应的前端项目代码。#需求
1、提供主页:可以切换不同应用(考虑页面样式美观,操作流畅)
2、页面1:AI旅游大师应用。页面风格为聊天室,仿Deepseek等AI聊天界面,首次运行创建新会话,每次创建新会话调用后端newChat接口获得新的聊天ID,老的会话可以通过列表保留(仅界面支持,后端暂不支持返回会话列表)。聊天室内通过SSE的方式调用chatwithTravelAppsSE Flux接口,实时显示对话内容。
3、页面2:AI旅游智能体应用。页面风格同页面1,但不保留历史会话,调用chathithManus接口,实时显示对话内容,按Step x:的格式分割气泡展示步骤(x为步骤数字值)
###技术选型
1.Vue3+ ElementPlus布局
2.Axios请求库
## 后端接口信息
接口地址前缀:http://localhost:8080/api
# SpringBoot 后端接口代码
与AI聊天的控制器
@RestController
@RequestMapping("/ai")
public class ChatWithAIController {
    // 注入TravelApp实例
    @Resource
    private TravelApp travelApp;

    @Resource
    private ToolCallback[] aiTools;

    @Resource
    private ChatModel dashscopeChatModel;

    /*
    * 流式调用智能体
    * @param message
    * @return
    * */
    @GetMapping("/chat/manus/sse")
    public SseEmitter chatWithManus(String message){
        TravelManus travelManus = new TravelManus(aiTools,dashscopeChatModel);
        travelManus.setMaxSteps(20);
        return travelManus.streamRun(message);
    }

    /*
    * 前端可以通过此方法获得一个ID
    * */
    @GetMapping("/chat/new")
    public String newChat(){
        return UUID.randomUUID().toString();
    }

    /*
     * SSE实现方式一:使用Flux
     * 必须设置produces为MediaType.TEXT_EVENT_STREAM_VALUE
     * */
    @GetMapping(value = "/chat/travel/sse/flux",produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> chatWithTravelAppSEE_Flux(String chatId, String message){
        return travelApp.streamChat(chatId,message);
    }

然后把提示词发送给AI后他会根据我们提示词生成一个页面

页面如果觉得不好看可以按照想法去修改

但是在我们运行过程中会有一个错误返回,会话创建失败,然后我们端口控制台可以看到是一个跨域错误

使用CorsConfig配置跨域

在我们后端项目的config包中新建CorsConfig

 @Configuration public class CorsConfig implements WebMvcConfigurer { @Override public void addCorsMappings(CorsRegistry registry) { registry.addMapping("/**") .allowCredentials(true) .allowedOriginPatterns("*") .allowedMethods("GET", "POST", "PUT", "DELETE", "OPTIONS") .allowedHeaders("*") .allowCredentials(true) .exposedHeaders("*"); } }

配置完成后我们再次重启后端项目,测试是否可以正常运行了

如下图所示,会话创建成功,并且给出了正确的回复

优化项目展示最终结果

优化工具提示词

        由于工具的使用由AI决定,如果它胡乱使用就可能会出现一些异常,例如原本有图片搜索工具,它却选择去使用“网页爬取工具”去爬取百度图片搜索结果,导致读取的页面数据得到大量乱码(可能百度做了技术防护)。

        另外还有一个问题,就是我们仅仅告知了最大执行步骤,并未告知大模型目前在第几步,大模型由于上下文限制,可能会忘记自己现在做到第几步了,我们也可以在提示词中再次提示它。
        我们修改一下 KtTravelManus 智能体的 NEXT_STEP_PROMPT 提示词,把这两个问题一起解决一些,看下情况是否能够改善。

根据用户需求,主动选择最合适的工具或工具组合。对于复杂的任务, 你可以将问题分解开来,然后分步骤使用不同的工具来解决它。你应该尽量在 %d 个步骤内完成任务,否则任务将可能提前结束, 当前已经是第 %d 步。在使用每种工具之后,要清晰地说明执行结果,并提出下一步的建议。如果您想在任何时刻终止这种交互, 请使用 “终止” 工具 / 函数调用重要的选择工具规则: 搜索和爬取1、图片搜索只能使用 searchImage 工具,不允许通过 searchWeb 和 scrapeWebContent 工具 2、如果需要搜索信息,请使用 searchWeb 工具,不允许使用 scrapeWebContent工具 3、如果需要爬取信息,请使用 scrapeWebContent 工具,不允许使用 searchWeb 工具 4、如果需要地理位置信息,请使用高德地图相关工具 5、如果需要图文并茂的 PDF,先下载图片,并使用 Markdown 格式引用相对路径的图片地址,再传递此Markdown 内容,使用 generatePdf 工具生成 6、如果用户要求提供文件,在最终响应时提供生成文件的下载链接(A 标签)

智能体注册全部工具

        如果想要给智能体用所有工具,那么我们就需要合并本地工具和 MCP工具提供给KtTravelManus 的构造函数。
修改 ChatWithAIController

 // 合并工具 private ToolCallback[] mergeAiTools() { // 注意到进行代理,避免MCP工具出现ToolContext问题 FunctionCallback[] mcpFunctionCallbacks = McpToolCallbackProxy.proxyAll(toolCallbackProvider.getToolCallbacks()); // 转化为ToolCallBack数组 ToolCallback[] mcpToolCallbacks = Arrays.stream(mcpFunctionCallbacks) .map(tool -> (ToolCallback)tool).toArray(ToolCallback[]::new); // 合并本地工具和MCP工具 ToolCallback[] allTools = ArrayUtil.addAll(aiTools,mcpToolCallbacks); return allTools; }

让最终结果展示

因为我们只发送了步骤信息,最终结果信息并没有发送,所以我们需要改造BaseAgent,在最终完成状态时,发送最后一次的AI消息。

修改BaseAgent代码

对应代码

 // 完成之前获取最后一次有效的AI响应并发送 if(state == AgentState.FINISHED){ String finalAiResponse = getLastValidAiResponse(); // 发送最终响应给前端 if(StrUtil.isNotBlank(finalAiResponse)){ emitter.send("\n=== 智能体最终响应 ==="); emitter.send(finalAiResponse); emitter.send("\n=== 智能体最终响应结束 ==="); } }
 /** * @return 最后一次 AI 的有效响应文本,如果没有则返回空字符串 */ protected String getLastValidAiResponse() { // 获取所有消息 List<Message> messageList = chatMemory.get(this.chatId, Integer.MAX_VALUE); // 如果消息为空,则最后的响应也为空 if (messageList == null || messageList.isEmpty()) { return ""; } // 从后往前遍历消息列表,查找最后一个助手消息 for (int i = messageList.size() - 1; i >= 0; i--) { Message message = messageList.get(i); // 获取最后一条助手消息 if (message instanceof AssistantMessage) { AssistantMessage assistantMessage = (AssistantMessage) message; String content = assistantMessage.getText(); // 返回非空的助手消息内容 if (StrUtil.isNotBlank(content)) { log.info("Final response: {}", content); return content; } } } return "智能体未返回最终响应"; }

注意后端数据发送逻辑

  • 先通过getLastValidAiResponse()方法获取到最后一次的助理消息
  • 然后通过emitter.send("\n=== 智能体最终响应===");发送了响应开始标识,这需要前端代码的支持。
  • 然后发送响应内容 emitter.send(finalAiResponse);
  • 最后发送结束符号emitter.send("=== 响应结束===");

Read more

AI辅助开发新体验:让快马平台的Kimi模型帮你智能生成17·c13视频草案

最近在做一个视频内容相关的项目,需要快速生成符合特定格式(比如17·c13草案)的视频脚本。手动分析文案、构思镜头、搭配音乐,效率实在太低,而且容易灵感枯竭。于是,我尝试用AI来辅助这个开发过程,目标是打造一个“智能视频草案分析助手”。这个应用的核心是:用户给一段文案或视频链接,AI能自动分析,并结构化地输出包括段落划分、关键词、镜头建议、音乐风格在内的完整草案,并且用户还能和AI互动,让它越改越好。 整个实现过程,可以拆解成几个关键环节,下面我结合自己的实践,详细聊聊每个部分是怎么思考和落地的。 1. 明确需求与交互设计 首先得想清楚这个助手要干什么。核心功能很明确:输入(文案/链接) -> AI分析 -> 结构化输出 -> 用户交互反馈 -> AI优化。交互设计上,我决定采用一个清晰的左右或上下分栏布局。左侧是用户的输入区和最终可编辑的草案展示区;右侧则专门用来高亮显示AI生成的所有建议内容,

微信终于官宣!OpenClaw(龙虾)正式接入,你的微信里多了一个AI管家

微信终于官宣!OpenClaw(龙虾)正式接入,你的微信里多了一个AI管家 就在昨天,微信放出了一个让科技圈沸腾的消息:微信正式推出「ClawBot」插件,支持接入开源AI智能体OpenClaw(俗称“龙虾”) 。 这意味着,你再也不需要冒着封号的风险使用非官方插件,现在可以直接在微信聊天界面里召唤你的“龙虾”替你干活了。 什么是“龙虾”? 首先科普一下,为什么大家管OpenClaw叫“龙虾”?因为它的图标是红色的,形似龙虾,所以被网友们亲切地称为“龙虾”。OpenClaw是一款实现“认知、执行、记忆”闭环的开源AI框架,简单来说,它能让AI真正“长出手脚”,自主执行文件管理、邮件收发、数据处理等复杂任务。 而微信这次推出的ClawBot插件,就是帮你用微信连接个人龙虾的聊天入口——相当于你现在能跟你的“虾”成为微信好友了。 如何接入? 想要在微信里玩转龙虾,操作非常简单,只需两步: 第一步:启用微信ClawBot插件 * 将微信更新到

实测好用!3款AI PPT工具排名推荐|告别排版内耗,技术人高效出片秘籍

实测好用!3款AI PPT工具排名推荐|告别排版内耗,技术人高效出片秘籍

作为常年和技术文档、项目汇报、学术答辩打交道的AI博主,每次做PPT都忍不住吐槽:写代码、捋逻辑的时间都不够,哪有功夫抠排版、调配色?尤其是技术类PPT,既要保证代码片段、公式、架构图的准确性,又要兼顾可读性和专业性,普通工具真的顶不住。 为此,我花了3天时间,实测了当前市面上15款热门AI PPT工具,筛选出3款「真正能提效」的神器并排序,覆盖全场景通用、学术技术专项、生态协同三大核心需求,每款都标注了实测亮点、适用人群,不管你是编程小白、资深程序员,还是科研人员、职场人,都能找到适配自己的工具,彻底告别PPT制作焦虑,把时间省下来搞核心事! 话不多说,直接上干货,建议收藏备用,下次做PPT直接对号入座~ 一、实测排名揭晓|3款AI PPT工具核心定位(精准适配技术人需求) 第一名:全端通用专业款|百度文库PPT 作为本次实测断层榜首,百度文库PPT堪称技术人全场景首选,核心亮点是全端通用、全模态生成、内容专业可信,

【AI】为什么 OpenClaw 值得折腾?安装体验与架构原理深度解析

【AI】为什么 OpenClaw 值得折腾?安装体验与架构原理深度解析

👨‍💻程序员三明治:个人主页 🔥 个人专栏: 《设计模式精解》《重学数据结构》 🤞先做到 再看见! 目录 * 一、OpenClaw 到底是什么 * 二、OpenClaw快速安装与卸载 * 进入官网:[https://openclaw.ai/](https://openclaw.ai/) * 下滑找到Quick Start,运行下面的命令 * 配置token、网关服务 * 选择模型 * 选择要接入的IM软件 * 选择搜索供应商 * 配置skill * 配置其他的API-KEY * 重启网关服务,并选择龙虾打开方式 * 龙虾启动! * 如何卸载? * 三、OpenClaw 的原理 * 1. 四层架构(Gateway-Node-Channel-Agent): * 2. 记忆系统 * 四、OpenClaw的创新点 * 1. 它把“入口”从网页改成了消息通道 * 2. 它把“