手把手教你使用 Faster-Whisper 实时语音输入转文本，本地部署教程

优质文章学习记录

— 6 min read
手把手教你使用 Faster-Whisper 实时语音输入转文本，本地部署教程

文章目录

前言

要想实现像豆包、微信等一样的语音输入功能，通常有两种主流方案：云端 API（轻量、准确度极高）和 本地模型（免费、隐私、无需联网）。由于目前开发的系统需要添加一个语音识别功能，刚好记录一下使用 Faster-Whisper 实时语音输入转文本。Faster-Whisper官网地址链接: Faster-Whisper官网地址

复现成功如下图所示，请看下文教程就能部署本地实时语音输入转文本模型：

在这里插入图片描述

电脑有显卡的话可以参考下面这篇文章安装 cuda 和 cudnn

cuda和cudnn的安装教程: cuda和cudnn的安装教程(全网最详细保姆级教程)

一、安装环境

在你的虚拟环境安装 faster-whisper，命令如下：

pip install faster-whisper
在这里插入图片描述


安装录音库

pip install pyaudiowpatch
在这里插入图片描述

二、使用步骤

1.下载模型

手动下载（离线使用）
如果你的服务器无法联网，或者你想把模型放在指定文件夹，可以手动下载。根据需求点击链接下载：

在 Hugging Face 的 “Files and versions” 页面中，下载以下几个关键文件（放入同一个文件夹）：

  • config.json
  • model.bin
  • tokenizer.json
  • vocabulary.json
  • preprocessor_config.json

我是下载 faster-whisper-large-v3 的模型下载链接： faster-whisper-large-v3 模型下载地址

在这里插入图片描述

把下载的模型文件放到一个文件夹内：

在这里插入图片描述

2.实时录音转文本脚本

代码如下（示例）：

# -*- coding: utf-8 -*-""" @Auth ：落花不写码 @File ：mian.py @IDE ：PyCharm @Motto :学习新思想，争做新青年 """import os import sys import time import wave import tempfile import threading import torch import pyaudiowpatch as pyaudio from faster_whisper import WhisperModel # 录音切片时长（秒） AUDIO_BUFFER =5defrecord_audio(p, device):# 创建临时文件with tempfile.NamedTemporaryFile(suffix=".wav", delete=False)as f: filename = f.name wave_file = wave.open(filename,"wb") wave_file.setnchannels(int(device["maxInputChannels"])) wave_file.setsampwidth(p.get_sample_size(pyaudio.paInt16)) wave_file.setframerate(int(device["defaultSampleRate"]))defcallback(in_data, frame_count, time_info, status):"""写入音频帧""" wave_file.writeframes(in_data)return(in_data, pyaudio.paContinue)try: stream = p.open(format=pyaudio.paInt16, channels=int(device["maxInputChannels"]), rate=int(device["defaultSampleRate"]), frames_per_buffer=1024,input=True, input_device_index=device["index"], stream_callback=callback,) time.sleep(AUDIO_BUFFER)# 阻塞主线程进行录音except Exception as e:print(f"录音出错: {e}")finally:if'stream'inlocals(): stream.stop_stream() stream.close() wave_file.close()return filename defwhisper_audio(filename, model):""" 调用模型进行转录 """try:# vad_filter=True 可以去掉没说话的静音片段 segments, info = model.transcribe( filename, beam_size=5, language="zh", vad_filter=True, vad_parameters=dict(min_silence_duration_ms=500))for segment in segments:print("[%.2fs -> %.2fs] %s"%(segment.start, segment.end, segment.text))except Exception as e:print(f"转录出错: {e}")finally:# 转录完成后删除临时文件if os.path.exists(filename): os.remove(filename)defmain():print("正在加载 Whisper 模型...")# 检查 GPUif torch.cuda.is_available(): device ="cuda" compute_type ="float16"# 或者 "int8_float16"print("使用 GPU (CUDA) 进行推理")else: device ="cpu" compute_type ="int8"# CPU 上推荐用 int8print("使用 CPU 进行推理")# 模型路径 model_path ="large-v3"try: model = WhisperModel(model_path, device=device, compute_type=compute_type,local_files_only=True)print("模型加载成功！")except Exception as e:print(f"模型加载失败: {e}")returnwith pyaudio.PyAudio()as p:try: default_mic = p.get_default_input_device_info()print(f"\n当前使用的麦克风: {default_mic['name']} (Index: {default_mic['index']})")print(f"采样率: {default_mic['defaultSampleRate']}, 通道数: {default_mic['maxInputChannels']}")print("-"*50)print("开始持续录音 (按 Ctrl+C 停止)...")whileTrue: filename = record_audio(p, default_mic) thread = threading.Thread(target=whisper_audio, args=(filename, model)) thread.start()except OSError:print("未找到默认麦克风，请检查系统声音设置。")except KeyboardInterrupt:print("\n停止录音，程序退出。")except Exception as e:print(f"\n发生未知错误: {e}")if __name__ =='__main__': main()

3.报错解决方法

报错：

Could not locate cudnn_ops64_9.dll. Please make sure it is in your library path!
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

在这里插入图片描述


Faster-Whisper 所依赖的 CTranslate2 引擎是基于 cuDNN 9.x 版本编译的，我电脑上没有找到 cuDNN v9，看了一下官网的解释如下：

在这里插入图片描述


安装旧版本：

pip install --force-reinstall ctranslate2==4.4.0
在这里插入图片描述

还是报错：

在这里插入图片描述


找到你的 CUDA 安装在其他位置，我的在 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin

找到 cublas64_11.dll，复制出来，改成 cublas64_12.dll

在这里插入图片描述


当我换了一个虚拟环境，使用 CUDA11.8 时候，虚拟环境已经安装了 CUDA11.8，报错：cuBLAS failed with status CUBLAS_STATUS_NOT_SUPPORTED

在这里插入图片描述


这是因为调用虚拟环境的 CUDA 11.8 ，PyTorch 安装的是 2.2.2+ cu118（自带 CUDA 11.8）如下图

在这里插入图片描述


报错因为你虚拟环境没有 cublas64_12.dll ，那么跟之前的操作一样，找到你的虚拟环境 cublas64_11.dll 所在的位置，我的在 D:\1-Python\ProgramFiles\Miniconda\envs\paddle_torch\Lib\site-packages\torch\lib

把 cublas64_11.dll 复制一份，改成 cublas64_12.dll

在这里插入图片描述

报错 ：Applying the VAD filter requires the onnxruntime package
把 onnxruntime 库版本降低就行，我安装 1.19.2

pip install onnxruntime==1.19.2

参考文章：
报错RuntimeError: Library cublas64_12.dll is not found or cannot be loaded

最后成功了

在这里插入图片描述

总结

对你有帮助请帮我一键三连。

Read more

linux中从零开始,将OpenClaw 接入 QQ 机器人

linux中从零开始,将OpenClaw 接入 QQ 机器人

Linux 从零开始：将 OpenClaw 接入 QQ 机器人 本文提供完整的 OpenClaw 安装和 QQ 机器人接入指南，适用于 Debian 12 系统，模型使用华为云提供MAAS 📋 目录 1. 系统准备 2. 安装 OpenClaw 3. 配置 QQ 机器人 4. 测试与验证 5. 常见问题 🚀 系统准备 环境要求 * 操作系统：Debian 12（其他 Linux 发行版类似） * 用户权限：root 用户 * 网络：可正常访问外部网络 1.1 SSH 配置（可选） 如需通过

米家API完全指南：轻松掌控智能家居生态系统

米家API完全指南：轻松掌控智能家居生态系统 【免费下载链接】mijia-api米家API 项目地址: https://gitcode.com/gh_mirrors/mi/mijia-api 米家API是一个功能强大的Python工具库，让开发者和普通用户都能轻松控制小米智能设备。通过封装复杂的网络通信协议，您只需几行代码即可实现设备远程操控、状态监测和场景自动化，打造专属的智能家居体验。 🌟 米家API的核心优势 简单易用：无需深入了解底层技术细节，初学者也能快速上手 功能全面：支持设备发现、属性设置、动作执行等核心操作 兼容性强：适配米家生态链中的各类智能设备 扩展灵活：提供丰富的API接口，满足个性化开发需求 🚀 三分钟快速上手 第一步：安装米家API 推荐方式：通过PyPI安装 pip install mijiaAPI 备选方案：从源码构建 git clone https://gitcode.com/gh_mirrors/mi/mijia-api
AI绘画：解锁商业设计新宇宙（6/10）

AI绘画：解锁商业设计新宇宙（6/10）

1.AI 绘画：商业领域的潜力新星 近年来，AI 绘画技术以惊人的速度发展，从最初简单的图像生成，逐渐演变为能够创造出高度逼真、富有创意的艺术作品。随着深度学习算法的不断优化，AI 绘画工具如 Midjourney、Stable Diffusion 等的出现，更是让这一技术走进了大众的视野，引发了广泛的关注和讨论。这些工具不仅操作简便，而且能够在短时间内生成多种风格的绘画作品，大大降低了绘画创作的门槛。 AI 绘画在商业领域展现出了巨大的潜力。据相关数据显示，2021 年中国 AI 绘画市场规模仅为 0.1 亿元，而预计到 2026 年将激增至 154.66 亿元 ，年复合增长率高达 244.1%。这一迅猛的增长趋势，反映出 AI 绘画在商业应用中的广阔前景。越来越多的企业开始认识到 AI 绘画的价值，并将其应用到广告、插画、
Java 大视界 -- Java 大数据在智能家居环境监测与智能调节中的应用拓展（423）

Java 大视界 -- Java 大数据在智能家居环境监测与智能调节中的应用拓展（423）

Java 大视界 -- Java 大数据在智能家居环境监测与智能调节中的应用拓展（423） * 引言： * 快速上手指南：3 步跑通智能家居 Demo（新手友好） * Step 1：环境准备（必装软件清单） * Step 2：代码运行（按顺序执行） * Step 3：效果验证（用 Postman 模拟数据） * 正文： * 一、智能家居环境监测与调节的核心痛点 * 1.1 设备数据的 “异构化” 困境 * 1.1.1 多源数据的 “协议壁垒” * 1.1.2 数据规模的 “爆发式增长” * 1.2 实时调节的 “滞后性” 痛点 * 1.