AI 大模型落地系列|Eino 组件核心篇:Embedding 到底解决了什么

AI 大模型落地系列|Eino 组件核心篇:Embedding 到底解决了什么

Embedding 使用说明

说到 embedding 组件,本质上就是把文本变成一串数字向量,让程序能“按语义理解文本”,而不只是按字符串匹配。

你可以把它理解成:

  • 原始文本:"今天天气不错"
  • 转成向量后:[0.12, -0.87, 0.44, ...]

这串向量人是看不懂的,因为他是拿个程序看的。
机器可以拿它来算“两个文本像不像”。

有啥用?!

他能干嘛?

平时大家会用到的地方

最常见就是这几类:

1. 文本相似度计算
比如:

  • “怎么退款”
  • “我要申请退钱”

虽然字不一样,但意思接近。
Embedding 后,这两句话的向量距离会比较近,所以系统知道它们语义相似。
这个我在之前的博客<ai基础知识>中提到过

2. 语义搜索
这也是最常见的用途。
比如你有很多文档、知识库、FAQ,用户问:

  • “怎么修改收货地址”

系统不是只搜关键词“修改”“地址”,而是把这个问题也做成向量,然后去找语义最接近的文档片段。
这样即使文档里写的是“变更配送地址”,也能搜出来。

3. RAG / 知识库问答
这类项目里 embedding 基本是核心组件之一了。流程通常是:

  • 先把知识库里的文本切块
  • 然后为每个文本块生成 embedding
  • 存到向量库里
  • 用户提问时,也生成一个 embedding
  • 去向量库里找最相关的内容
  • 再把找到的内容喂给大模型回答

也就是说,它是“先找资料”这一步的关键。

4. 文本聚类 / 分类 / 去重
这个是生活中其他方面的应用,非AI
比如你有很多评论、工单、反馈,可以用 embedding 做:

  • 相似工单归类
  • 重复问题合并
  • 用户反馈主题聚类

它不能直接干嘛?

不是直接拿来生成回答的
它更像一个“文本编码器”或者“语义检索工具”。

也就是:

  • LLM:负责生成、总结、对话
  • Embedding:负责把文本映射到语义空间,方便检索、匹配、聚类

总结:

这个组件的核心用途就一句话:

把文字转换成可计算的语义特征,方便程序判断哪些文本意思接近。

浅用之法

接下来,我先说下基础语法。

EmbedStrings(ctx, texts []string, opts ...Option)([][]float64,error)

意思就是:

  • 输入:多段文本
  • 输出:每段文本对应的一个向量

例如:

texts :=[]string{"hello","how are you",} vectors, err := embedder.EmbedStrings(ctx, texts)

返回的 vectors 就是两段文本的向量表示。
后面你可以拿这些向量去做:

  • 相似度比较
  • 存入向量数据库
  • 召回相关知识片段
  • 聚类分析

食用之法

它的使用可以分成两层来看:

  1. 最直接的用法:给几段文本生成向量也就是我在浅用之法中提到的
  2. 真正落地的用法:配合检索 / 向量库 / RAG 一起用

我直接教你 “你上手怎么写”。


一、最基本用法:直接调用 EmbedStrings

本质核心就这几步:

1. 创建 embedder
import"github.com/cloudwego/eino-ext/components/embedding/openai"// 这个导入的包,是兼容openai的。// 如果你要用豆包,可以专门调用embedding/ark 这个包。 embedder, err := openai.NewEmbedder(ctx,&openai.EmbeddingConfig{ APIKey: accessKey, Model:"text-embedding-3-large", Dimensions:&defaultDim, Timeout:0,})if err !=nil{panic(err)}

这里的作用是初始化一个“文本转向量”的对象。

几个关键参数:

  • APIKey:调用模型服务的密钥
  • Model:选哪个 embedding 模型
  • Dimensions:向量维度
  • Timeout:超时时间

2. 调用 EmbedStrings
texts :=[]string{"hello","how are you",} vectors, err := embedder.EmbedStrings(ctx, texts)if err !=nil{panic(err)}

这一步做完后:

  • texts[0] 对应 vectors[0]
  • texts[1] 对应 vectors[1]

也就是说,输入几段文本,输出几组向量。


3. 向量拿来干嘛

生成出来的 vectors 一般不会直接打印给用户看,而是继续做下面这些事:

  • 存到向量数据库
  • 跟别的向量算相似度
  • 做召回
  • 做聚类
  • 做去重

二、完整demo

你可以把它理解成一个普通组件,哪里需要文本转向量,哪里调用。

例如:

package main import("context""fmt""log""github.com/cloudwego/eino-ext/components/embedding/openai")funcmain(){ ctx := context.Background() defaultDim :=3072 accessKey :="your-api-key" embedder, err := openai.NewEmbedder(ctx,&openai.EmbeddingConfig{ APIKey: accessKey, Model:"text-embedding-3-large", Dimensions:&defaultDim, Timeout:0,})if err !=nil{ log.Fatal(err)} texts :=[]string{"退款怎么申请","如何进行退钱操作","今天天气不错",} vectors, err := embedder.EmbedStrings(ctx, texts)if err !=nil{ log.Fatal(err)} fmt.Println("文本数量:",len(vectors)) fmt.Println("第一条文本向量维度:",len(vectors[0]))}

这就是最标准的“用”了!


三、带 Option 怎么用

公共 option 其实也挺有用的,比如 WithModel

这表示你在调用时,可以临时覆盖模型参数。

vectors, err := embedder.EmbedStrings(ctx, texts, embedding.WithModel("text-embedding-3-small"),)

大致意思就是:

  • embedder 初始化时有一个默认模型
  • 这次调用时,临时改成另一个模型

这个适合:

  • 平时默认用大模型
  • 某些场景为了省钱/提速,改用小模型

但是我在此,不得点明一下,虽然向量在不同模型之前还是有一定的兼容,但是尽量不切换,就不要切换,影响效果


四、在编排中怎么用

如果你不是手动一行一行写,而是用 Eino 的 ChainGraph,就可以把 embedding 当成节点塞进去。

在 Chain 中使用

初次接触chain的话,你可以将其当成一条流水线

chain := compose.NewChain[[]string,[][]float64]() chain.AppendEmbedding(embedder)

意思是:

  • 输入:[]string
  • 输出:[][]float64

也就是整条链专门做“文本 -> 向量”。


在 Graph 中使用
graph := compose.NewGraph[[]string,[][]float64]() graph.AddEmbeddingNode("embedding_node", embedder)

意思是把 embedding 作为图里的一个节点,后面可以接别的节点一起跑。


五、带 Callback 怎么用

这个一般用于:

  • 记录日志
  • 统计 token
  • 监控调用过程
  • 调试输入输出

Callback有点像 给整个链路,外挂了一层“生命周期 中间件 / 钩子机制"

通常是:定义 handler,然后通过 compose.WithCallbacks 传进去。

例如:

handler :=&callbacksHelper.EmbeddingCallbackHandler{ OnStart:func(ctx context.Context, runInfo *callbacks.RunInfo, input *embedding.CallbackInput) context.Context { log.Printf("开始 embedding,文本数: %d, 内容: %v\n",len(input.Texts), input.Texts)return ctx }, OnEnd:func(ctx context.Context, runInfo *callbacks.RunInfo, output *embedding.CallbackOutput) context.Context { log.Printf("embedding 完成,生成向量数: %d\n",len(output.Embeddings))return ctx },}

然后运行时:

callbackHandler := callbacksHelper.NewHandlerHelper().Embedding(handler).Handler() runnable,_:= chain.Compile(ctx) vectors, err := runnable.Invoke(ctx,[]string{"hello","how are you"}, compose.WithCallbacks(callbackHandler),)

这样你就能看到:

  • 输入了什么
  • 什么时候开始
  • 什么时候结束
  • 输出了多少向量
  • token 消耗多少

六、真实场景

真正业务里,embedding 很少是“调一下就结束”,
我拿知识库问答,给大家描绘一下整体流程。

场景:做知识库问答
第一步:把知识库切块

比如一篇文档切成很多段:

chunks :=[]string{"退款申请需要在订单完成后7天内提交","修改收货地址请在发货前联系人工客服","发票可在订单详情页申请",}
第二步:给每个 chunk 生成向量
chunkVectors, err := embedder.EmbedStrings(ctx, chunks)
第三步:存起来

通常会存到向量数据库里,同时保存原文:

  • 文本内容
  • 对应向量
  • 文档来源
  • chunk id
第四步:用户提问时,也生成向量
query :=[]string{"订单下完以后地址还能改吗"} queryVector, err := embedder.EmbedStrings(ctx, query)
第五步:拿 query 的向量去检索最相近的 chunk

找出最相似的几段知识。

第六步:把召回结果交给大模型回答

这才变成完整的 RAG。


七、语法总结

最小步骤
  1. 初始化 embedder
  2. EmbedStrings
  3. 拿到 [][]float64
常见增强
  1. Option 临时覆盖参数
  2. Callback 打日志和监控
  3. 放进 Chain / Graph 编排

八、模板总结

package main import("context""fmt""log""github.com/cloudwego/eino/components/embedding" embeddingOpenAI "github.com/cloudwego/eino-ext/components/embedding/openai")funcmain(){ ctx := context.Background() defaultDim :=3072// 通常是定死的 accessKey :="your-api-key" embedder, err := embeddingOpenAI.NewEmbedder(ctx,&embeddingOpenAI.EmbeddingConfig{ APIKey: accessKey, Model:"text-embedding-3-large", Dimensions:&defaultDim, Timeout:0,})if err !=nil{ log.Fatal(err)} texts :=[]string{"退款怎么申请","如何退钱","修改收货地址的方法",} vectors, err := embedder.EmbedStrings( ctx, texts, embedding.WithModel("text-embedding-3-small"),)if err !=nil{ log.Fatal(err)} fmt.Printf("生成了 %d 个向量\n",len(vectors)) fmt.Printf("每个向量维度: %d\n",len(vectors[0]))}

九、尾声

大家可以把它记成:

Embedding 的“用法”就是:先把文本喂进去生成向量,再把这个向量用于检索、匹配、聚类等后续处理。

相信大家看到这里,应该也明白了:
“会调用 embedding”“会用 embedding 做业务” 是两回事。

前者很简单,就是:

  • NewEmbedder
  • EmbedStrings

后者才是完整链路,比如:

  • 文本切块
  • 向量生成
  • 向量存储
  • 相似检索
  • 大模型回答

1、OpenAI开发者(向量嵌入)
2、官方文档 CloudWeGo(Embedding 使用说明)

Read more

英伟达开源DreamDojo:4.4万小时“梦境”,破解机器人数据鸿沟

英伟达开源DreamDojo:4.4万小时“梦境”,破解机器人数据鸿沟

摘要:本文深度解析英伟达开源的DreamDojo世界模型,详解DreamDojo的核心定位与开源战略,拆解44711小时超大规模数据集的优势、连续潜在动作的技术创新,剖析其实时遥操作、策略评估等应用场景,对比其与1XWM、Genie 3的技术路线差异,解读其与扬·勒丘恩物理AI理念的契合点,探讨DreamDojo对破解机器人物理鸿沟、推动物理AI发展的核心作用,为技术从业者、行业观察者、投资者提供最专业、最全面的深度解读,助力了解2026年世界模型与物理AI领域的最新技术革新与赛道趋势。 一、行业痛点:数据鸿沟,困住人形机器人的核心瓶颈 长期以来,“数据短缺+数据低效”是制约机器人行业发展的致命痛点——机器人想要掌握一项技能,需要海量真实场景下的动作数据进行训练,但真实数据的采集的成本极高、周期极长,且场景覆盖有限;与此同时,传统机器人数据集规模偏小、多样性不足,难以支撑通用型机器人的训练需求,形成了难以逾越的“数据鸿沟”。 更关键的是,多数企业陷入了“重指令、轻物理”的误区:大量布局视觉-语言-动作(VLA)模型,过度依赖文本推理驱动机器人动作,却忽略了直觉物理规律的核心价值。

Bidili SDXL Generator 5分钟快速部署:小白也能玩转AI绘画

Bidili SDXL Generator 5分钟快速部署:小白也能玩转AI绘画 你是不是也想过自己动手生成一张独一无二的AI画作,却被复杂的模型部署、参数配置劝退?今天,我要分享一个好消息:现在,你只需要5分钟,就能在自己的电脑上搭建一个功能强大的AI绘画工具——Bidili SDXL Generator。 这个工具基于目前最先进的Stable Diffusion XL 1.0模型,并集成了Bidili团队精心训练的LoRA风格权重。更重要的是,它专门针对SDXL架构做了显存优化,还提供了傻瓜式的可视化界面。无论你是完全没有AI基础的小白,还是想快速体验SDXL强大能力的开发者,这篇文章都能帮你轻松上手。 1. 为什么选择Bidili SDXL Generator? 在开始动手之前,我们先简单了解一下这个工具的核心价值。市面上AI绘画工具很多,但Bidili SDXL Generator有几个特别适合新手的优势。 1.1 开箱即用,告别复杂配置 传统的Stable Diffusion部署需要你懂Python环境、会安装各种依赖库、还要自己下载好几个G的模型文件。整个过程

【GitHub项目推荐--Video2Robot:从视频到机器人动作的端到端生成管道】⭐

简介 Video2Robot 是由AIM-Intelligence开发的开源项目,是一个端到端的管道系统,能够将视频或文本提示转换为机器人可执行的运动序列。在机器人技术、动画制作和虚拟现实快速发展的今天,如何让机器人执行自然、流畅的人类动作成为关键挑战。传统方法需要专业动画师手动设计动作,或通过复杂的运动捕捉系统,过程耗时耗力且成本高昂。Video2Robot应运而生,通过整合先进的视频生成、人体姿态提取和运动重定向技术,实现了从简单描述到机器人动作的自动化转换。 核心价值: * 自动化流程:将复杂的手动设计过程自动化,显著提高效率 * 自然动作生成:基于真实人类动作生成自然流畅的机器人运动 * 多模态输入:支持文本提示、现有视频、图像参考等多种输入方式 * 广泛兼容性:支持多种主流机器人平台,包括Unitree、Booster等 项目定位:Video2Robot填补了自然语言/视频到机器人动作转换的技术空白。与需要专业设备和复杂流程的传统运动捕捉系统不同,该项目通过软件管道实现了低成本、高效率的动作生成。项目特别注重易用性和可扩展性,通过模块化设计支持不同组件的替换和

开源:AI+无人机巡检系统项目调研

主流开源AI无人机巡检项目调研 本部分系统梳理了当前主流的开源无人机巡检相关项目,涵盖飞控系统、地面站软件、AI视觉识别、数据处理等多个技术栈,为商业化产品开发提供技术选型参考。 一、飞控与地面站开源项目 1.1 PX4 Autopilot 项目地址:github.com/PX4/PX4-Autopilot 开源协议:BSD 3-Clause 项目简介:由Dronecode基金会(Linux基金会旗下)维护的专业级开源自动驾驶仪软件,是全球最广泛使用的无人机飞控系统之一。支持多旋翼、固定翼、垂直起降等多种机型,广泛应用于工业无人机和科研领域。 核心能力:飞行控制、任务规划、传感器融合、MAVLink通信协议、硬件抽象层、模块化架构 1.2 ArduPilot 项目地址:github.com/ArduPilot/ardupilot 开源协议:GPLv3 项目简介:历史最悠久的开源自动驾驶仪项目,社区活跃度极高。