前端流式处理实现：从原理到代码的完整解析

优质文章学习记录

— 9 min read
前端流式处理实现：从原理到代码的完整解析
在这里插入图片描述

引言

在现代Web应用中，流式处理已经成为提升用户体验的重要技术之一。特别是在AI对话、长文本生成等场景中，流式处理能够让用户看到内容的实时生成过程，而不是等待整个内容生成完成后一次性显示。本文将详细介绍如何实现前端流式处理，以及如何通过流式处理实现界面的逐个文字显示效果。

什么是流式处理？

流式处理（Streaming）是一种数据处理方式，它允许数据在生成的同时被处理和显示，而不需要等待所有数据都生成完成。在Web开发中，流式处理通常通过以下技术实现：

  1. Server-Sent Events (SSE)：一种服务器向客户端推送数据的技术
  2. WebSocket：全双工通信协议
  3. Fetch API + ReadableStream：现代浏览器提供的流式处理能力

本文将重点介绍基于Fetch API和ReadableStream的流式处理实现。

实现原理

前端流式处理的核心原理是：

  1. 客户端发送请求时，设置stream: true参数
  2. 服务器收到请求后，以流式方式返回数据
  3. 客户端通过ReadableStream接口逐块接收数据
  4. 每接收到一块数据，就更新一次界面

完整实现示例

1. 后端实现（Node.js）

首先，我们需要一个能够返回流式响应的后端服务。以下是一个使用Express.js实现的简单后端：

// server.jsconst express =require('express');const app =express();const port =3001; app.use(express.json()); app.post('/api/stream',(req, res)=>{// 设置响应头，确保使用流式传输 res.setHeader('Content-Type','text/event-stream'); res.setHeader('Cache-Control','no-cache'); res.setHeader('Connection','keep-alive');// 模拟AI生成文本的过程const responseText ="这是一个流式处理的示例，展示如何实现逐个文字显示的效果。";let index =0;// 每隔100ms发送一个字符const interval =setInterval(()=>{if(index < responseText.length){const char = responseText[index];// 发送SSE格式的数据 res.write(`data: ${JSON.stringify({content: char })}\n\n`); index++;}else{// 发送结束标志 res.write(`data: [DONE]\n\n`);clearInterval(interval); res.end();}},100);}); app.listen(port,()=>{ console.log(`Server running on port ${port}`);});

2. 前端实现（React）

现在，让我们创建一个前端应用来接收和处理流式数据：

// App.jsx import React, { useState } from 'react'; function App() { const [input, setInput] = useState(''); const [response, setResponse] = useState(''); const [isStreaming, setIsStreaming] = useState(false); const handleSubmit = async (e) => { e.preventDefault(); setResponse(''); setIsStreaming(true); try { const response = await fetch('http://localhost:3001/api/stream', { method: 'POST', headers: { 'Content-Type': 'application/json', }, body: JSON.stringify({ prompt: input }), }); if (!response.ok) { throw new Error('Network response was not ok'); } // 获取响应流 const reader = response.body.getReader(); const decoder = new TextDecoder(); let; // 循环读取流数据 while (true) { const { done, value } = await reader.read(); if (done) { break; } // 解码数据 const chunk = decoder.decode(value, { stream: true }); // 处理SSE格式的数据 const lines = chunk.split('\n\n'); for (const line of lines) { if (line.startsWith('data: ')) { const data = line.substring(6); if (data === '[DONE]') { setIsStreaming(false); break; } try { const parsed = JSON.parse(data); if (parsed.content) { completeResponse += parsed.content; setResponse(completeResponse); } } catch (error) { console.error('Error parsing JSON:', error); } } } } } catch (error) { console.error('Error:', error); setIsStreaming(false); } }; return ( <div style={{ maxWidth: '600px', margin: '0 auto', padding: '20px' }}> <h1>流式处理示例</h1> <form onSubmit={handleSubmit}> <div style={{ marginBottom: '20px' }}> <label style={{ display: 'block', marginBottom: '8px' }}> 输入提示词： </label> <input type="text" value={input} onChange={(e) => setInput(e.target.value)} style={{ width: '100%', padding: '8px' }} /> </div> <button type="submit" disabled={isStreaming} style={{ padding: '10px 20px', backgroundColor: '#4CAF50', color: 'white', border: 'none', borderRadius: '4px', cursor: isStreaming ? 'not-allowed' : 'pointer' }} > {isStreaming ? '生成中...' : '生成文本'} </button> </form> <div style={{ marginTop: '30px' }}> <h2>响应：</h2> <div style={{ padding: '15px', border: '1px solid #ddd', borderRadius: '4px', minHeight: '100px', whiteSpace: 'pre-wrap' }}> {response} {isStreaming && <span style={{ animation: 'blink 1s infinite' }}>|</span>} </div> </div> <style jsx global>{` @keyframes blink { 0%, 100% { opacity: 1; } 50% { opacity: 0; } } `}</style> </div> ); } export default App;

3. 核心流式处理逻辑解析

让我们详细分析前端的流式处理逻辑：

  1. 发送请求：
    • 使用fetch API发送POST请求到后端
    • 设置Content-Type为application/json
  2. 获取响应流：
    • 通过response.body.getReader()获取流读取器
    • 创建TextDecoder用于解码二进制数据
  3. 循环读取数据：
    • 使用while(true)循环持续读取流数据
    • 通过reader.read()获取数据块
  4. 处理数据块：
    • 使用decoder.decode()解码二进制数据为字符串
    • 按\n\n分割SSE格式的数据
    • 解析每个数据行，提取JSON数据
    • 更新界面显示
  5. 处理结束标志：
    • 当收到[DONE]消息时，结束流式处理
    • 设置isStreaming为false，更新UI状态

技术要点详解

1. SSE格式解析

SSE（Server-Sent Events）是一种服务器向客户端推送数据的协议，其格式为：

data: { "content": "H" } data: { "content": "e" } data: { "content": "l" } data: [DONE]

每个数据块以data:开头，以两个换行符结束。我们的代码通过分割这些数据块并解析JSON来获取实际内容。

2. 流式读取实现

const reader = response.body.getReader();while(true){const{ done, value }=await reader.read();if(done)break;// 处理数据...}

这段代码使用了ReadableStream.getReader()方法获取一个流读取器，然后通过reader.read()方法异步读取数据块。当done为true时，表示流已经结束。

3. 实时更新UI

if(parsed.content){ completeResponse += parsed.content;setResponse(completeResponse);}

每次接收到新的内容片段，我们就更新completeResponse变量，并通过setResponse更新UI状态，从而实现逐个文字显示的效果。

4. 性能优化

  • 使用stream: true选项：在decoder.decode()时使用{ stream: true }选项，允许解码器在流模式下工作，提高性能。
  • 避免频繁DOM更新：虽然我们在每次接收到数据时都更新状态，但React会自动批处理这些更新，减少实际的DOM操作。

常见问题与解决方案

1. CORS问题

当前端和后端运行在不同域名或端口时，可能会遇到CORS（跨域资源共享）问题。解决方案是在后端设置适当的CORS头：

app.use((req, res, next)=>{ res.setHeader('Access-Control-Allow-Origin','*'); res.setHeader('Access-Control-Allow-Methods','GET, POST, OPTIONS'); res.setHeader('Access-Control-Allow-Headers','Content-Type');next();});

2. 流中断处理

如果网络连接中断或服务器出错，流处理可能会异常终止。我们可以添加错误处理来提高应用的健壮性：

try{// 流式处理代码...}catch(error){ console.error('Streaming error:', error);setIsStreaming(false);setResponse('Error: '+ error.message);}

3. 大文本处理

对于非常长的文本，频繁更新UI可能会导致性能问题。我们可以考虑添加节流（throttling）或防抖（debouncing）机制：

let updateTimer;if(parsed.content){ completeResponse += parsed.content;clearTimeout(updateTimer); updateTimer =setTimeout(()=>{setResponse(completeResponse);},50);// 每50ms更新一次UI}

扩展应用场景

流式处理不仅适用于AI文本生成，还可以应用于以下场景：

  1. 实时聊天应用：显示对方正在输入的内容
  2. 文件上传进度：实时显示上传进度
  3. 数据可视化：实时更新图表数据
  4. 视频/音频流：实时播放媒体内容

总结

流式处理是一种强大的技术，它能够显著提升用户体验，特别是在处理需要时间生成的内容时。通过本文的实现示例，我们可以看到：

  1. 后端：需要设置正确的响应头，并以流式方式发送数据
  2. 前端：需要使用ReadableStream接口逐块接收和处理数据
  3. UI更新：通过实时更新状态来实现逐个文字显示的效果

流式处理的核心思想是"边生成边处理"，这与传统的"等待全部生成完成后再处理"的方式形成了鲜明对比。通过掌握流式处理技术，我们可以构建更加响应迅速、用户体验更好的Web应用。

代码优化建议

  1. 使用AbortController：添加取消请求的能力，提高用户体验
  2. 添加重试机制：处理网络波动导致的流中断
  3. 使用Web Workers：将流式处理逻辑移到Web Worker中，避免阻塞主线程
  4. 优化解码过程：对于大型流，可以考虑使用更高效的解码策略

输入输出示例

输入输出示例

前端输入：

点击"生成文本"按钮

后端输出（SSE格式）：

data: {"content": "这"} data: {"content": "是"} data: {"content": "一"} data: {"content": "个"} data: {"content": "流"} data: {"content": "式"} data: {"content": "处"} data: {"content": "理"} data: {"content": "的"} data: {"content": "示"} data: {"content": "例"} data: [DONE]

前端显示（逐字显示）：

这 这是 这是一 这是一个 这是一个流 这是一个流式 这是一个流式处 这是一个流式处理 这是一个流式处理的 这是一个流式处理的示 这是一个流式处理的示例

通过这种方式，用户可以实时看到内容的生成过程，而不是等待整个内容生成完成后一次性显示，大大提升了用户体验。

结论

流式处理是现代Web开发中的一项重要技术，它不仅可以提升用户体验，还可以降低服务器和客户端的内存消耗。通过本文的详细解析和实现示例，相信您已经对如何实现前端流式处理有了清晰的理解。

在实际应用中，您可以根据具体需求对代码进行调整和优化，以达到最佳的性能和用户体验。希望本文对您有所帮助！

📌 推荐阅读

前端工程师必懂：图解 AI Agent 的 ReAct 模式，如何设计不焦虑的等待体验
AI时代，前端到底在干什么？从“页面仔”到“智能交互架构师”的范式跃迁
RAG进化史：从“幻觉”到“可信”，及前端流式渲染实战
详解 JavaScript 高级语法：模板字符串与可选链的巧妙结合
React 中 Modal 弹框闪现问题的原理分析与解决方案
TypeScript 非空断言操作符 (!) 详解
JavaScript 的 Switch 语句：一个隐藏的“作用域陷阱”
React + Redux 深度解析：从单向数据流到闭环实现

Read more

用playwright封装一个处理web网页的爬虫，并隐藏自动化特征，自动处理反爬

更多内容请见： 《爬虫和逆向教程》 - 专栏介绍和目录 文章目录 * 一、脚本概述 * 1.1 脚本对应反爬措施 * 1.2 注意事项 * 1.3 反爬细节说明 * 二、完整代码 * 2.1 安装依赖 * 2.2 封装代码 * 2.3 使用示例 下面是一个使用 Playwright 封装的、具备反爬对抗能力的网页爬虫Python函数，返回原始 HTML 内容，并重点隐藏自动化特征，避免被检测为 bot。 一、脚本概述 该封装已在多个中等反爬网站（如电商、新闻站）验证有效，能绕过大多数基于 navigator.webdriver、chrome 对象、permissions 等的检测。
Linux网络 | 理解Web路径 以及 实现一个简单的helloworld网页

Linux网络 | 理解Web路径 以及 实现一个简单的helloworld网页

前言：本节内容承接上节课的http相关的概念， 主要是实现一个简单的接收http协议请求的服务。这个程序对于我们理解后面的http协议的格式，报头以及网络上的资源的理解， 以及本节web路径等等都有着重要作用。 可以说我们就用代码来理解这些东西。 那么废话不多说， 现在开始我们的学习吧。         ps：本节内容建议先看一下上一篇文章http的相关概念哦：linux网络 | 深度学习http的相关概念-ZEEKLOG博客 目录  准备文件  makefile HttpServer.hpp 类内成员 封装sockfd start  ThreadRun  全部代码 运行结果 响应书写 Web路径  准备文件         首先准备文件： 这里面Httpserver.cc用来运行接收http请求的服务。 HttpServer.hpp用来定义http请求。Log.hpp就是一个打印日志的小组件， Socket.hpp同样是套接字的组件。 到使用直接调用相关接口即可。（Log.hpp和Socket.hpp如何实现不讲解， 如果想要知道
【前端实战】如何让用户回到上次阅读的位置？

【前端实战】如何让用户回到上次阅读的位置？

目录 【前端实战】如何让用户回到上次阅读的位置？ 一、总体思路 1、核心目标 2、涉及到的技术 二、实现方案详解 1、基础方法：监听滚动，记录 scrollTop（不推荐） 2、Intersection Observer + 插入探针元素 3、基于 URL Hash 锚点跳转 三、总结 1、不同方案间对比总结 2、结语         作者：watermelo37         ZEEKLOG万粉博主、华为云云享专家、阿里云专家博主、腾讯云、支付宝合作作者，全平台博客昵称watermelo37。         一个假装是giser的coder，做不只专注于业务逻辑的前端工程师，Java、Docker、Python、LLM均有涉猎。 --------------------------------------------------------------------- 温柔地对待温柔的人，包容的三观就是最大的温柔。 -------------------------------------------------------------
Clawdbot（Moltbot）源码部署全实测：从环境搭建到 WebChat 验证，避坑指南收好

Clawdbot（Moltbot）源码部署全实测：从环境搭建到 WebChat 验证，避坑指南收好

一、为啥折腾 Clawdbot？ 最近刷技术圈总刷到 Clawdbot（后来也叫 Moltbot），说是能搭私人 AI 助手，支持 WhatsApp、Telegram 这些常用通道，还能跑在自己设备上，不用依赖第三方服务 —— 想着拉下来测试一下功能，顺便研究一下其源码的实现。 于是拉上 GitHub 仓库https://github.com/openclaw/openclaw，打算从源码部署试试，过程里踩了不少坑，干脆整理成记录，给同样想折腾的朋友避避坑。 二、源码部署前的准备：Windows 环境优先选 WSL2 一开始想直接用 Windows CMD 部署，结果装依赖时各种报错，查仓库文档才发现 Windows 推荐用 WSL2（Ubuntu/Debian 镜像就行），后续操作全在 WSL2 里完成： 1.