Whisper 저자원 모드: 제한된 연산으로 다국어 전사 실행하기

서론

• 「Whisper low resource mode」의 의미
• 제한된 하드웨어에 적합한 Whisper 모델
• 메모리와 연산 사용량을 줄이는 방법
• 정확도와 성능 사이의 트레이드오프
• 프로덕션 배포 모범 사례

---

Whisper 저자원 모드란?

• GPU 메모리가 부족할 때
• CPU 추론만 가능할 때
• 엣지 기기나 소형 서버에서 실행할 때
• 대량의 오디오를 비용 효율적으로 처리해야 할 때

---

저자원 환경에 맞는 Whisper 모델 선택

모델	크기	메모리	속도	정확도
tiny	~39M	매우 낮음	매우 빠름	낮음
base	~74M	낮음	빠름	보통
small	~244M	보통	보통	좋음
medium	~769M	높음	느림	매우 좋음
large-v3	~15억	매우 높음	가장 느림	최고

저자원 모드 권장

• tiny: 극한 제약, 엣지 기기
• base: CPU 전용 구성에서 균형이 가장 좋음
• small: 정확도가 중요하지만 GPU가 없을 때

---

CPU에서 Whisper 실행하기(GPU 없음)

CPU 모드 특성

• 지연 시간이 더 김
• 처리량이 더 낮음
• 메모리 사용이 안정적
• 배포가 더 쉬움

권장 설정

• tiny 또는 base 모델 사용
• 배치 크기 줄이기
• 불필요한 기능(예: 단어 수준 타임스탬프) 피하기

---

Whisper에서 메모리 사용 줄이기

단어 수준 타임스탬프 끄기

word_timestamps=False

---

상세 출력(verbose) 피하기

verbose=False

---

FP16은 GPU가 있을 때만

fp16=False

---

저자원 모드에서 오디오 청킹

권장 파이프라인

Audio
 → Voice Activity Detection (VAD)
 → Chunk into short segments (10–30 seconds)
 → Whisper transcription per chunk
 → Merge transcripts

• 피크 메모리 감소
• 장애 허용성 향상
• 수평 확장 용이

---

언어 감지 고려 사항

모범 사례

• 알려진 경우 언어를 명시적으로 지정

language="en"

• 추론 시간이 줄어듦
• 안정성이 좋아짐
• 잘못된 언어 감지를 줄임

---

저자원 모드에서 다국어 전사

권장 사항

• 다국어 사용 시 base 또는 small 선호
• 오디오를 적극적으로 청크로 나눔
• 긴 녹음에서 언어를 자주 바꾸지 않음
• 구두점·서식은 후처리

• 영어
• 중국어
• 스페인어
• 일본어

---

정확도와 성능의 트레이드오프

최적화	성능 향상	정확도 영향
더 작은 모델	높음	중간
CPU 전용	중간	낮음
청킹	높음	낮음
단어 타임스탬프 끄기	중간	없음
언어 명시	중간	긍정적

---

전형적인 저자원 사용 사례

• 엣지 기기
• 온프레미스 배포
• 소규모 SaaS 백엔드
• 배치 전사 파이프라인
• 비용에 민감한 전사 서비스

• 팟캐스트
• 인터뷰
• YouTube 동영상
• 교육 콘텐츠

---

Whisper 저자원 모드 vs 클라우드 음성 API

기능	Whisper 저자원 모드	클라우드 API
하드웨어 제어	✅ 완전	❌ 제한적
비용 예측 가능성	✅ 높음	❌ 변동
오프라인 지원	✅ 예	❌ 아니오
다국어 지원	✅ 강함	⚠️ 서비스마다 다름
설정 복잡도	⚠️ 중간	✅ 낮음

---

모범 사례 요약

• base 또는 small 모델 선택
• GPU가 없을 때 CPU 추론 사용
• 긴 오디오를 적극적으로 청크
• 단어 수준 타임스탬프 끄기
• 가능하면 언어 지정
• 전사본은 별도로 후처리

---

결론

---