Whisper로 구현하는 실시간 스트리밍: 저지연 음성 인식 가이드

스트리밍이 어려운 이유

• 증분 디코딩 — 부분 오디오를 단계적으로 처리
• 낮은 지연 시간 — 가능한 한 빨리 결과 제공
• 청크 경계에서의 아티팩트
• GPU 활용률과 응답성 간의 균형

아키텍처 개요

Audio Source → Audio Buffer → Segmenter → Whisper Inference → Post-processing → Consumer

• Audio Source — 마이크 / 브라우저 / 전화 회선 등
• Segmenter — 오버랩되는 청크 생성
• Whisper Inference — GPU/CPU 상의 모델 추론
• Post-processing — 텍스트와 타임스탬프 병합

저지연을 위한 세그멘테이션

• 윈도우 길이: 1–5초
• 오버랩: 0.5–1초
• 버퍼 크기: 요구되는 지연 시간에 따라 결정

스트리밍에 적합한 모델 선택

기본 스트리밍 워크플로우 (의사 코드)

import whisper
import sounddevice as sd
import numpy as np

model = whisper.load_model("small").to("cuda")

BUFFER = []
WINDOW = 3  # seconds
OVERLAP = 1  # seconds
RATE = 16000

def callback(indata, frames, time, status):
    global BUFFER
    BUFFER.extend(indata.flatten().tolist())
    # When buffer length > window, process
    if len(BUFFER) >= RATE * WINDOW:
        segment = BUFFER[:RATE * WINDOW]
        BUFFER = BUFFER[int(RATE * (WINDOW - OVERLAP)):]
        audio = np.array(segment)
        result = model.transcribe(audio, fp16=True)
        print("--- partial →", result["text"])

오버랩 처리와 결과 텍스트 합치기

• 0–3초
• 2–5초
• 4–7초

• 오버랩 구간의 중복 텍스트 제거
• 타임스탬프 조정
• 끊김 없는 연속 텍스트 스트림 생성

브라우저에서의 실시간 처리

const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
const processor = audioContext.createScriptProcessor(4096, 1, 1);
source.connect(processor);
processor.connect(audioContext.destination);

processor.onaudioprocess = (e) => {
  const chunk = e.inputBuffer.getChannelData(0);
  sendToServer(chunk); // WebSocket/Socket.io
};

배포 패턴

☁️ 서버리스(클라우드)

• 클라이언트가 WebSocket을 통해 오디오 전송
• AWS Lambda(짧은 오디오용) 또는 GPU 서버에서 처리
• GPU 인스턴스에서 Whisper 실행
• 오토스케일을 통한 확장성 확보

🖥️ 전용 GPU 서버

• 상시 구동되는 GPU
• 더 낮은 지연 시간
• 24/7 서비스에 적합

🌀 하이브리드

• 엣지에서 오디오 캡처 + 작은 모델로 사전 필터링
• 전체 트랜스크립션은 GPU 서버에서 수행

지연 시간 줄이기

🟡 1. 윈도우 크기 줄이기

🔵 2. 버퍼 오버랩 사용

🟢 3. FP16 / BF16 사용

🔴 4. 여러 사용자를 배치 처리

모니터링과 메트릭

• 세그먼트별 지연 시간
• 단어 오류율(Word Error Rate, WER)
• GPU 사용률
• 부분 결과와 최종 결과 간의 정확도 차이

트레이드오프

활용 사례 예시

• 라이브 스트리밍 자막
• 회의 및 수업 녹취
• 인터랙티브 음성 애플리케이션
• 콘퍼런스 및 웨비나 서비스

결론

• 윈도우 크기
• 오버랩 양
• 모델 크기
• 하드웨어 성능