【Gradio系列】使用 Gradio 快速构建对话式 AI 应用

【Gradio系列】使用 Gradio 快速构建对话式 AI 应用
import os import gradio as gr from openai import OpenAI client = OpenAI( api_key=os.getenv("OPENAI_API_KEY","sk-"), base_url=os.getenv("OPENAI_BASE_URL", "https://dashscope.aliyuncs.com/compatible-mode/v1"), ) MODEL_NAME = os.getenv("MODEL_NAME", "qwen-plus") SYSTEM_PROMPT = "你是一个友好、专业、谨慎的中文智能助手。" def chat_stream(message, history): messages = [{"role": "system", "content": SYSTEM_PROMPT}] for item in history: if item.get("role") in ["user", "assistant"]: messages.append(item) messages.append({"role": "user", "content": message}) stream = client.chat.completions.create( model=MODEL_NAME, messages=messages, stream=True, temperature=0.7, ) for chunk in stream: delta = chunk.choices[0].delta.content or "" partial += delta yield partial demo = gr.ChatInterface( fn=chat_stream, title="AI智能助手", description="基于Gradio", ) if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860)

gr.ChatInterface 本质上是一个高级封装组件,它帮你自动完成了:聊天界面(前端 UI)。自动生成:对话气泡(用户 / AI),输入框,发送按钮,滚动聊天记录,不需要写 HTML / CSS / JS。

ChatInterface 的执行流程:用户输入 → ChatInterface → 调用 fn → 返回结果 → 渲染UI

chat_stream 是整个应用的核心函数,负责把用户输入和历史对话整理成模型需要的 messages 格式,然后调用大模型接口获取回复;其中通过遍历 history 实现多轮上下文记忆,再把当前 message 追加进去发送请求,并开启 stream=True 进行流式调用,最后用 yield 持续返回逐步生成的内容,从而在前端实现类似 ChatGPT 的“边生成边显示”的实时对话体验。

Read more

开箱即用:支持ChatGLM/文心一言的API管理镜像部署手册

开箱即用:支持ChatGLM/文心一言的API管理镜像部署手册 1. 为什么你需要这个镜像——告别密钥混乱与模型适配烦恼 你是否遇到过这样的场景: * 项目里同时调用文心一言写营销文案、用ChatGLM做内部知识问答、再接入通义千问生成技术文档,结果每个模型都要单独配置api_key、base_url、请求头格式、流式开关逻辑……代码里堆满条件判断; * 测试环境用的是本地Ollama的Qwen2,生产环境切到百度千帆的文心一言4.5,一改base_url和模型名,就报400 Bad Request——原来千帆不支持OpenAI原生的temperature字段命名,得改成top_p; * 运维同事半夜被报警电话叫醒:“线上服务崩了!查了一小时发现是讯飞星火的API密钥过期了,但没人知道它被用在哪个微服务里……” 这些问题,不是你代码写得不够好,而是缺一个统一的API网关层。 这不是一个需要你从零搭建的复杂系统,而是一个真正“开箱即用”的镜像——它把所有主流大模型(包括ChatGLM、文心一言、通义千问、讯飞星火等)的差异全部封装掉,对外只暴露标准的OpenAI API

AIGC创作平台怎么设计?高保真案例拆解+AI生成原型实测

AIGC创作平台怎么设计?高保真案例拆解+AI生成原型实测

引言 到了2026年,我发现AIGC创作类产品明显进入了“第二阶段”。第一阶段解决的是能不能生成,而现在,越来越多产品开始认真解决好不好用、是不是一个真正的创作工具。 尤其在音乐、视频这类复杂创作领域,单纯把一个输入框丢给用户,已经远远不够。在实际使用中,真正拉开差距的,反而是页面结构、参数怎么摆,以及生成结果能不能被反复利用。 本文基于墨刀素材广场中的一个高保真AI音乐创作平台原型案例,对核心页面做详细拆解,分析结构层面的设计要点。同时结合AI生成原型图的方式,实测了3个不同场景的AIGC产品案例,希望为正在做AI产品、原型或交互设计的同学,提供一些可复用的思路。 一、高保真AI音乐创作平台原型拆解 这是一个完整的一站式AI音乐创作系统,覆盖从创意构思、内容生成、资产管理、二次创作的全音乐生产链路。这个原型给我最大的感受,是它很克制地把复杂流程拆散了,让非专业用户也能一步步跟着走,同时又保留足够的专业深度,满足专业级用户需求。 1. 首页 首页同时承担了「快速开始创作」和「激发灵感」两种职责,因此在结构上做了明显区分。 * 左侧导航:固定核心功能入口(音乐、歌词、

【大模型微调】LLaMA Factory 微调 LLMs & VLMs

【大模型微调】LLaMA Factory 微调 LLMs & VLMs

LLaMA Factory是一个大模型高效微调平台,在github有60k多收藏了,很适合入门的朋友 提供了“ 一站式”的操作界面,通过可视化操作,就可以完成对LLMs 或 VLMs的微调了 开源地址:https://github.com/hiyouga/LLaMA-Factory 下面是微调的页面,简洁、清晰、功能多: 目录 一、LLaMA Factory的特色 二、支持的模型 三、提供的数据集(基础) 四、安装LLaMA Factory  五、微调LLM实践--Qwen3-4B-Thinking  六、微调VLM实践--Qwen/Qwen2.5-VL-3B-Instruct 七、了解源代码 八、其他参考资料 一、LLaMA Factory的特色 * 多种模型:LLaMA、LLaVA、Mistral、

本地文件深度交互新玩法:Obsidian Copilot的深度开发

本地文件深度交互新玩法:Obsidian Copilot的深度开发

前言 当 “本地知识库管理” 撞上 “AI 智能分析”,会擦出怎样的火花?试想一下:你的 Obsidian 里存着多年积累的笔记、文档,却只能手动翻阅检索;而现在,一个插件 + 蓝耘 API,就能让这些 “静态文字” 瞬间 “活” 起来 —— 自动总结核心内容、智能回答专业疑问,甚至挖掘隐藏关联!今天,就带大家拆解 Obsidian 联动蓝耘 API 的全新玩法,看看如何让本地文件从 “信息仓库” 变身 “智能助手” 。 蓝耘API KEY的创建 先进行API的创建 先点击蓝耘进行一个正常的注册流程 进入到主页之后,我们点击上方的MaaS平台 进入到平台后我们可以看到很多的大模型 不仅仅是文本生成、音频理解、视频理解还是视频生成,都有对应的大模型 每个模型都有很详细的介绍以及价格示例,用过api调用的都可以看到这个价格还是比较贴近平民的 并且可以进行在线体验的,这里是先进行思考的,