Speech To Text 如何识别语音？从音频波形到 Log-Mel Spectrogram 的完整解析
2025-12-13技术
Eric King
Author
随着人工智能技术的发展，Speech To Text（语音转文字）已被广泛应用于会议记录、视频字幕生成、语音输入、智能客服等场景。但很多用户并不了解：计算机并没有"耳朵"，它是如何听懂人类说话的？
要理解 Speech To Text 的工作原理，我们需要从最基础的音频波形图开始，一步步走到真正被语音识别系统使用的核心特征——Log-Mel Spectrogram（对数梅尔频谱图）。
音频波形图：我们最熟悉的声音表示
在录音软件或音频编辑工具中，我们经常能看到上下起伏的图形，这就是音频波形图（Waveform）。
音频波形图的含义很直观：
- 横轴表示时间
- 纵轴表示声音振幅（响度）
通过波形图，我们可以快速判断：
- 哪些地方有人声
- 哪里是停顿或静音
- 声音强弱的变化情况
然而，对 Speech To Text 系统来说，波形图只描述了声音"有多大"，却没有说明声音"是什么"。
为什么波形图不足以用于 Speech To Text？
语音的关键信息并不只存在于音量变化中，而是隐藏在频率结构里。
不同的发音、音色和说话人，其实是由不同频率的组合方式决定的。在波形图中，这些差异被复杂的振动细节掩盖，计算机很难直接识别。
因此，Speech To Text 需要将音频从时间域转换到频率域，进一步分析声音的组成。
从波形到频谱：让计算机"看见"频率
Speech To Text 系统会先对音频进行频率分析，将声音拆分为不同频率成分，并观察这些频率随时间的变化情况。
这一步生成的是频谱图（Spectrogram）：
- 横轴：时间
- 纵轴：频率
- 颜色或亮度：该频率的能量大小
频谱图比波形图更进一步，它开始揭示语音的结构特征，但仍然不完全符合人类听觉方式。
Log-Mel Spectrogram：Speech To Text 的核心语音特征
为了让计算机"听得更像人"，Speech To Text 引入了 Log-Mel Spectrogram（对数梅尔频谱图）。
它在频谱图的基础上做了两件关键事情：
- 使用 Mel 频率刻度，更符合人耳对不同频率的感知方式
- 对能量取对数（Log），减少音量变化带来的影响
最终，Log-Mel Spectrogram 会把语音表示成一张二维"声音图像"，清晰展现：
- 不同发音的频率分布
- 音色和说话人特征
- 语音随时间的变化模式
这正是 Whisper 等现代 Speech To Text 系统的标准输入形式。
为什么 Log-Mel Spectrogram 对 Speech To Text 如此重要？
Log-Mel Spectrogram 之所以成为语音识别的主流选择，原因包括：
- 更贴近人类听觉机制
- 更容易区分不同音素和发音
- 对音量变化和环境噪声更稳定
- 更适合深度学习模型训练
从波形图到 Log-Mel Spectrogram，是 Speech To Text 从"听见声音"到"理解语言"的关键一步。
结语
Speech To Text 的核心，并不是简单地处理音频，而是理解语音的结构。音频波形图让我们看见声音，而 Log-Mel Spectrogram 则让计算机真正读懂声音。
正是这一从波形 → 频谱 → Log-Mel Spectrogram 的过程，支撑起了今天高准确率、强鲁棒性的语音转文字技术。