whisperX 是基于 OpenAI Whisper 的语音识别工具，提供单词级时间戳和说话人区分功能。介绍环境搭建（Python 3.10, PyTorch, CUDA）、命令行使用及 Python API 集成方法。支持批处理推理、VAD 预处理及多语言识别。常见问题包括 GPU 内存不足、Speaker 区分效果不佳及时间戳不准确，可通过调整模型大小、批处理大小及计算类型解决。适用于语音转写、字幕生成等场景。
whisperX 是一个基于 OpenAI Whisper 的语音识别工具，它在 Whisper 的基础上进行了改进，提供了更精准的单词级时间戳和 speaker 区分功能。whisperX 采用了强制音素对齐（Phoneme-Based ASR）和语音活动检测（VAD）等技术，能够显著提高语音识别的准确性和效率。
whisperX 的主要特点包括：
详细的技术细节可以参考官方文档 README.md。
首先，我们需要创建一个 Python 3.10 的环境。打开终端，执行以下命令：
conda create --name whisperx python=3.10
conda activate whisperx
whisperX 需要 PyTorch 的支持。对于 Linux 和 Windows 用户，推荐安装 CUDA 11.8 版本的 PyTorch：
conda install pytorch==2.0.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
其他系统或 CUDA 版本的安装方法可以参考 PyTorch 官方文档。
whisperX 提供了多种安装方式，你可以根据自己的需求选择：
从 PyPI 安装最新的稳定版本：
pip install whisperx
从 GitHub 安装最新的开发版本（可能不稳定）：
pip install git+https://github.com/m-bain/whisperX.git
如果已经安装了 whisperX，可以使用以下命令升级到最新版本：
pip install git+https://github.com/m-bain/whisperX.git --upgrade
如果你需要修改源码，可以克隆仓库并以可编辑模式安装：
git clone https://github.com/m-bain/whisperX.git
cd whisperX
pip install -e .
注意：开发版本可能包含实验性功能和 bug，生产环境建议使用稳定版本。
此外，你可能还需要安装 ffmpeg、rust 等依赖，可以参考 OpenAI Whisper 的安装指南。
如果需要使用 speaker 区分功能，你需要获取 Hugging Face 的访问令牌，并接受相关模型的用户协议。具体步骤如下：
安装完成后，我们可以使用命令行来调用 whisperX。最简单的用法是：
whisperx examples/sample01.wav
这个命令会使用默认的模型（small）对 examples/sample01.wav 文件进行转录。如果你想获取单词级的时间戳，可以添加 --highlight_words True 参数：
whisperx examples/sample01.wav --highlight_words True
为了提高识别准确率和时间戳精度，你可以使用更大的模型，例如：
whisperx examples/sample01.wav --model large-v2 --align_model WAV2VEC2_ASR_LARGE_LV60K_960H --batch_size 4
这里，--model large-v2 指定使用 large-v2 模型，--align_model 指定使用 WAV2VEC2_ASR_LARGE_LV60K_960H 模型进行对齐。
要实现 speaker 区分，可以使用 --diarize 参数。如果你知道 speaker 的数量，可以使用 --min_speakers 和 --max_speakers 参数来指定：
whisperx examples/sample01.wav --model large-v2 --diarize --highlight_words True --min_speakers 2 --max_speakers 2
如果你没有 GPU，或者想在 Mac OS X 上运行 whisperX，可以使用 --compute_type int8 参数：
whisperx examples/sample01.wav --compute_type int8
whisperX 支持多种语言的识别。对于非英语语言，建议使用 large 模型，并通过 --language 参数指定语言代码。例如，识别德语音频：
whisperx examples/sample_de_01.wav --model large --language de
目前，whisperX 已为以下语言提供了默认的对齐模型：{en, fr, de, es, it, ja, zh, nl, uk, pt}。
除了命令行，whisperX 还提供了 Python API，方便集成到你的项目中。下面是一个简单的示例：
import whisperx
import gc
device = "cuda"
audio_file = "audio.mp3"
batch_size = 16 # 减少批大小以降低 GPU 内存占用
compute_type = "float16" # 如果 GPU 内存不足，可以改为 "int8"
# 1. 使用原始 whisper 进行转录（批处理）
model = whisperx.load_model("large-v2", device, compute_type=compute_type)
audio = whisperx.load_audio(audio_file)
result = model.transcribe(audio, batch_size=batch_size)
print(result["segments"]) # 对齐前的结果
# 2. 对齐 whisper 输出
model_a, metadata = whisperx.load_align_model(language_code=result["language"], device=device)
result = whisperx.align(result["segments"], model_a, metadata, audio, device, return_char_alignments=False)
print(result["segments"]) # 对齐后的结果
# 3. 分配 speaker 标签
diarize_model = whisperx.DiarizationPipeline(use_auth_token="YOUR_HF_TOKEN", device=device)
diarize_segments = diarize_model(audio)
result = whisperx.assign_word_speakers(diarize_segments, result)
print(result["segments"]) # 带有 speaker ID 的结果
上述代码演示了如何使用 whisperX 进行语音识别、时间戳对齐和 speaker 区分。
如果遇到 GPU 内存不足的问题，可以尝试以下方法：
--batch_size 4--model base--compute_type int8如果 speaker 区分效果不理想，可以尝试：
--min_speakers 和 --max_speakers 参数large-v2如果时间戳不够准确，可以尝试使用更大的对齐模型，例如 --align_model WAV2VEC2_ASR_LARGE_LV60K_960H。
通过本文的介绍，你已经了解了 whisperX 的基本概念、安装配置方法以及如何使用命令行和 Python API 进行语音识别。whisperX 作为一个功能强大的语音识别工具，不仅提供了高准确率的转录结果，还支持单词级时间戳和多 speaker 区分，非常适合用于语音转写、字幕生成等场景。
如果你在使用过程中遇到问题，可以参考官方文档 README.md 或提交 issue 到 GitHub 仓库。同时，whisperX 是一个开源项目，欢迎你参与贡献，一起完善这个工具。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online