Whisper で実現するリアルタイムストリーミング：低レイテンシ音声認識ガイド

ストリーミングが難しい理由

• インクリメンタルなデコード — 部分的な音声を処理する
• 低レイテンシ — できるだけ早く結果を返す
• チャンク境界でのアーティファクト
• GPU 利用率と応答性のバランス

アーキテクチャ概要

Audio Source → Audio Buffer → Segmenter → Whisper Inference → Post-processing → Consumer

• Audio Source — マイク / ブラウザ / 電話回線など
• Segmenter — オーバーラップするチャンクを生成
• Whisper Inference — GPU / CPU 上のモデル
• Post-processing — テキストとタイムスタンプをマージ

低レイテンシのためのセグメンテーション

• ウィンドウ長: 1〜5 秒
• オーバーラップ: 0.5〜1 秒
• バッファサイズ: 許容レイテンシに依存

ストリーミング向けモデルの選び方

基本的なストリーミングワークフロー（擬似コード）

import whisper
import sounddevice as sd
import numpy as np

model = whisper.load_model("small").to("cuda")

BUFFER = []
WINDOW = 3  # seconds
OVERLAP = 1  # seconds
RATE = 16000

def callback(indata, frames, time, status):
    global BUFFER
    BUFFER.extend(indata.flatten().tolist())
    # When buffer length > window, process
    if len(BUFFER) >= RATE * WINDOW:
        segment = BUFFER[:RATE * WINDOW]
        BUFFER = BUFFER[int(RATE * (WINDOW - OVERLAP)):]
        audio = np.array(segment)
        result = model.transcribe(audio, fp16=True)
        print("--- partial →", result["text"])

オーバーラップ処理とテキスト結合

• 0〜3 秒
• 2〜5 秒
• 4〜7 秒

• オーバーラップ部分の重複テキストを削除
• タイムスタンプを調整
• 連続したテキストストリームを生成

ブラウザでのリアルタイム処理

const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
const processor = audioContext.createScriptProcessor(4096, 1, 1);
source.connect(processor);
processor.connect(audioContext.destination);

processor.onaudioprocess = (e) => {
  const chunk = e.inputBuffer.getChannelData(0);
  sendToServer(chunk); // WebSocket/Socket.io
};

デプロイパターン

☁️ サーバーレス（クラウド）

• クライアントが WebSocket 経由で音声を送信
• AWS Lambda（短い音声向け）や GPU サーバーで処理
• Whisper は GPU インスタンス上で動作
• オートスケールによるスケーラビリティ

🖥️ 専用 GPU サーバー

• 常時稼働の GPU
• 低レイテンシ
• 24/7 サービスに最適

🌀 ハイブリッド

• エッジ側で音声取得 + 小さなモデルでの事前フィルタリング
• 本格的な文字起こしは GPU サーバーで実行

レイテンシを下げるテクニック

🟡 1. ウィンドウサイズを小さくする

🔵 2. バッファをオーバーラップさせる

🟢 3. FP16 / BF16 を使う

🔴 4. 複数ユーザーをバッチ処理する

モニタリングとメトリクス

• セグメントごとのレイテンシ
• 誤り率（Word Error Rate, WER）
• GPU 使用率
• 部分結果と最終結果の精度差

トレードオフ

ユースケース例

• ライブ配信のリアルタイム字幕
• 会議や授業の文字起こし
• 対話型の音声アプリ
• カンファレンスやウェビナー向けサービス

まとめ

• ウィンドウサイズ
• オーバーラップ量
• モデルサイズ
• ハードウェア性能