会社情報
採用情報
お問い合わせ
Article

音声認識AI導入事例：通話内容テキスト化で顧客対応を効率化

高田晃太郎
音声認識AI導入事例：通話内容テキスト化で顧客対応を効率化

統計では、コンタクトセンターにおけるアフターコールワーク（ACW：通話後の事務処理）が処理時間全体の相当部分を占めるケースが多く、海外調査でも1通話あたり数十秒〜数分に及ぶ報告がある³。Gartnerは会話型AIの活用で数年内に大きな人件費削減が進むと予測し¹、SalesforceのState of Serviceでも多くのサービス組織がAI投資を拡大している²。もはや単なる流行ではなく、会話の文字化が既存プロセスのボトルネックに直結して効くことが、各種データから示唆されている⁵。要するに、通話の文字起こしは単独の省力化にとどまらず、品質管理（QA）、ナレッジ整備、法令順守、教育までをつなぐ自動化のトリガーになり得る。現場では、平均処理時間（AHT）の数％〜1桁台後半の短縮⁶、品質監査の実質的な全件化⁴、検索と要約による一次応答の安定化⁵といった効果が積み上がる。以下では、導入でつまずきやすい設計の勘所と、すぐ試せる実装例をコード付きで示す。

なぜ「通話のテキスト化」は効率化の本丸か

効率化の源泉は二つある。第一は、会話の同時転記（リアルタイム文字起こし）によりオペレーターのメモ負荷とACWを減らせること。リアルタイム字幕と要点抽出があれば、集中は会話に向けつつ、記録は自動的にCRM（顧客管理システム）へ整形登録される⁴。第二は、全文テキスト化によって品質管理とナレッジ活用が機械可読になることだ⁵。従来のサンプリング監査は、全件監査と違反検知、コーチングの自動フィードバックへ拡張できる⁴。結果として、モニタリングの網羅率は実質的に100%となり、改善サイクルが短く回る⁴。

技術面では、自動音声認識（ASR：Automatic Speech Recognition）の精度と遅延がボトルネックになりやすい。日本語でも高精度のモデルや商用APIが複数ある。オープンソースのWhisper系は条件が整えば高い認識率を示し、クラウドAPIは話者分離、句読点、自前辞書、ストリーミングなどの運用機能が充実している。実務で重要なのは単純なWER（単語誤り率）だけでなく、固有名詞の再現、業界語彙への適合、300〜800ms帯の遅延安定性、通話ノイズへの耐性といった総合的な品質指標である。導入前のPoCでは、代表的な10〜20シナリオでの再現テストと、用語リスト適用前後の改善幅を観測しておくと後戻りが減る。

導入アーキテクチャと設計判断

典型的な全体像は、電話プラットフォームから双方向音声をメディアストリームで取り出し、ストリーミングASRに送り、暫定結果を即時UIへ反映しつつ、確定結果をCRMやデータレイクに格納する。会話終了後はサマリー、要点、次回アクション、NGワード検知⁴、個人情報のマスキングなどの後処理を行い、ナレッジベースや品質監査に回す⁵。選択肢は大きく二つ。フルマネージドAPIを使うか、モデルを自前ホストするかだ。前者は実装が速く機能も豊富だがコストは利用量比例。後者は初期実装とMLOpsの負荷が増える一方、データ所在のコントロールやコスト最適化の余地が広い。セキュリティやデータ越境規制、保守体制、夜間バッチの設計など、非機能要件が判断軸になる。

遅延はリアルタイム支援の生命線だ。オペレーターの耳に届く音声からテキスト確定までのレイテンシは、ネットワーク往復、ストリーミングバッファ、VAD（無音区間検出）、ASR内部のチャンク、ポストプロセスの合計で決まる。リアルタイム支援を目指すなら、UI表示は暫定結果を前提にし、確定で上書きする設計にする。話者分離は録音段階で左右チャンネル分離を確保すると安定しやすい。通話取り込みはSIPREC（録音連携の標準仕様）、Twilio Media Streams、Amazon Connectの音声分岐など、基盤に応じた方法を採る。用語取り扱いは軽視できない。商品名や型番、社内略語はカスタム辞書やフレーズヒントで明示的に与えるだけで、誤りの大半が解消することは珍しくない。

実装例（高精度ストリーミングと後処理）

最初の例は、Twilio Media StreamsからNode.jsで音声を受け取り、そのままGoogle Cloud Speech-to-TextのストリーミングAPIに流す構成だ。双方向通話のうち、顧客側のみASRに送るか、両チャンネルを別セッションで処理して話者分離を担保するかは要件で決める。

// package.json: "dependencies": { "ws": "^8", "@google-cloud/speech": "^6" }
import WebSocket, { WebSocketServer } from 'ws';
import { v1p1beta1 as speech } from '@google-cloud/speech';
import { PassThrough } from 'stream';

const wss = new WebSocketServer({ port: 8080 });
const client = new speech.SpeechClient();

function createRecognizeStream(languageCode = 'ja-JP', phraseHints = []) {
  const request = {
    config: {
      encoding: 'MULAW',
      sampleRateHertz: 8000,
      languageCode,
      enableAutomaticPunctuation: true,
      enableWordTimeOffsets: true,
      speechContexts: [{ phrases: phraseHints }],
      model: 'phone_call',
    },
    interimResults: true,
    singleUtterance: false,
  };
  return client
    .streamingRecognize(request)
    .on('error', (e) => console.error('ASR error', e))
    .on('data', (data) => {
      const result = data.results[0];
      if (!result) return;
      const alt = result.alternatives[0];
      const payload = {
        text: alt.transcript,
        isFinal: result.isFinal,
        confidence: alt.confidence ?? 0,
        words: alt.words?.map(w => ({ word: w.word, start: w.startTime, end: w.endTime })) ?? [],
      };
      // TODO: push to UI via WebSocket to agent desktop
      console.log(JSON.stringify(payload));
    });
}

wss.on('connection', (ws) => {
  const audioStream = new PassThrough();
  const asrStream = createRecognizeStream('ja-JP', ['製品名A', '型番ZX-1000', 'サブスク', '解約']);
  audioStream.pipe(asrStream);

  ws.on('message', (msg) => {
    // Twilio sends base64-encoded mulaw frames in JSON
    try {
      const frame = JSON.parse(msg.toString());
      if (frame.event === 'media') {
        const chunk = Buffer.from(frame.media.payload, 'base64');
        audioStream.write(chunk);
      }
    } catch (e) {
      console.error('parse error', e);
    }
  });
  ws.on('close', () => audioStream.end());
});

console.log('Media Stream server on :8080');

二つ目は、社内でモデルをホストしたい場合のPython実装。faster-whisperでGPU推論とVADを併用し、数百ミリ秒のチャンクで逐次確定させる。固有名詞は事前トークンで強調しづらいため、後段の辞書置換を併用するのが実務的だ。

# pip install faster-whisper webrtcvad soundfile
import queue, threading, time
import webrtcvad
import soundfile as sf
from faster_whisper import WhisperModel

model = WhisperModel("large-v3", device="cuda", compute_type="float16")
vad = webrtcvad.Vad(2)

frames = queue.Queue()

def audio_producer(wav_path):
  audio, sr = sf.read(wav_path, dtype='int16')
  frame_ms = 30
  samples_per_frame = int(sr * frame_ms / 1000)
  for i in range(0, len(audio), samples_per_frame):
    frame = audio[i:i+samples_per_frame]
    if len(frame) < samples_per_frame:
      break
    is_speech = vad.is_speech(frame.tobytes(), sample_rate=sr)
    if is_speech:
      frames.put(frame.astype('float32') / 32768.0)
    else:
      frames.put(None)
  frames.put('EOS')

def asr_consumer():
  buffer = []
  start_ts = time.time()
  while True:
    item = frames.get()
    if item == 'EOS':
      break
    if item is None and buffer:
      segment = model.transcribe(
        buffer, language='ja', vad_filter=False, condition_on_previous_text=True
      )
      for seg in segment[0]:
        print({"text": seg.text, "start": seg.start, "end": seg.end})
      buffer = []
    elif item is not None:
      buffer.extend(item)
  print("latency(s)", time.time() - start_ts)

threading.Thread(target=audio_producer, args=("sample_call.wav",)).start()
asr_consumer()

三つ目は、Amazon Connectや独自SIPからAWS Transcribe Streamingを使う例。エージェント支援では暫定結果を即時反映し、確定時にCRMへ書き込む。

# pip install boto3 amazon-transcribe-streaming-sdk
import asyncio, json, boto3
from amazon_transcribe.client import TranscribeStreamingClient
from amazon_transcribe.handlers import TranscriptResultStreamHandler
from amazon_transcribe.model import TranscriptEvent

class MyHandler(TranscriptResultStreamHandler):
    async def handle_transcript_event(self, transcript_event: TranscriptEvent):
        results = transcript_event.transcript.results
        for result in results:
            if len(result.alternatives) > 0:
                alt = result.alternatives[0]
                payload = {
                    "text": alt.transcript,
                    "isFinal": not result.is_partial,
                    "items": [
                        {"t": i.content, "s": i.start_time, "e": i.end_time}
                        for i in alt.items if i.start_time
                    ]
                }
                print(json.dumps(payload, ensure_ascii=False))

async def run(audio_iterable):
    client = TranscribeStreamingClient(region="ap-northeast-1")
    stream = await client.start_stream_transcription(
        language_code="ja-JP",
        media_sample_rate_hz=8000,
        media_encoding="pcm",
        enable_channel_identification=True,
        number_of_channels=2,
        vocabulary_name="yourCustomVocab"  # 事前に登録
    )
    handler = MyHandler(stream.output_stream)

    async def write_chunks():
        async for chunk in audio_iterable:
            await stream.input_stream.send_audio_event(audio_chunk=chunk)
        await stream.input_stream.end_stream()

    await asyncio.gather(write_chunks(), handler.handle_events())

# audio_iterableはPCM 16bitの非同期反復子を想定

四つ目は、個人情報の検出とマスキング。正規表現だけでは不足するため、NLPのエンティティ抽出と組み合わせると漏れが減る。ここでは簡易な日本の電話番号、メール、郵便番号のマスキング例を示す。

import re

def redact(text: str) -> str:
    text = re.sub(r"\b0\d{1,4}-\d{1,4}-\d{4}\b", "[TEL]", text)
    text = re.sub(r"[\w\.-]+@[\w\.-]+", "[EMAIL]", text)
    text = re.sub(r"\b\d{3}-\d{4}\b", "[ZIP]", text)
    return text

sample = "ご連絡は03-1234-5678、info@example.comまで。郵便番号は100-0001です。"
print(redact(sample))

五つ目は、全文検索と要約のためのベクトル化。テキストを分割し埋め込みを作成してFAISSに格納すれば、通話横断の検索やエージェント支援の基盤になる。日本語ではSentence-BERT系やマルチリンガルの埋め込みモデルが安定しやすい⁵。

# pip install sentence-transformers faiss-cpu
from sentence_transformers import SentenceTransformer
import faiss, numpy as np

model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')

corpus = [
  "解約手続きの手順は…",
  "請求金額に関する問い合わせの対応例…",
  "配送遅延時の謝罪トークと代替提案…"
]
emb = model.encode(corpus, normalize_embeddings=True)
index = faiss.IndexFlatIP(emb.shape[1])
index.add(np.array(emb, dtype='float32'))

query = "請求の金額が違うとお客様が不満"
qv = model.encode([query], normalize_embeddings=True)
D, I = index.search(np.array(qv, dtype='float32'), 3)
print([corpus[i] for i in I[0]])

ここまでを組み合わせると、リアルタイム字幕、話者分離つきの確定文字起こし、個人情報マスキング、検索・要約というパイプラインが最小構成で立ち上がる。運用に入れる際は、語彙ヒントの更新、辞書置換のチューニング、録音環境のノイズ低減とゲイン調整、データ保管ポリシーの整備を並行して進めると、安定的に精度と体験が伸びる。

成果測定、コスト試算、運用の勘所

成果の測り方は実務に直結する。まずAHT、ACW、一次解決率、QA指摘件数、エスカレーション率といったKPIの現状を週次でベースライン化し、導入後に同条件で追跡する。リアルタイム支援を併用する場合、暫定表示のラグは読みやすさに直結するため、UIのフォントや改行、確定上書きのアニメーションまで含めて可用性を評価する。誤認識への違和感を減らすには、確定結果だけでなく暫定結果にも信頼度スコアを付与し、低スコア部分は色味や斜体で控えめ表示にする設計が効く。

費用は規模依存だが、概算の一例を示す。エージェント100席、1日80件、平均通話5分、稼働22日とすると、月間音声は約88,000分。クラウドASRを1分あたり0.024USDと仮定するとASR費用は約2,112USD、為替150円で約31.7万円。録音保存やデータ転送、サマリー生成、監査の後段処理を加味しても月50〜80万円の範囲に収まるケースは多い。一方、ACW短縮が1通話あたり30秒、AHTが8分の現場なら約6%短縮に相当する。1席あたりの実働を月120時間、時間コスト4,000円と置くと、100席での可処理量増加または工数削減は月数百万円規模になり得る。粗い試算ではあるが、AHTが数％下がればASR費用は十分回収可能という見立ては、一般的な相場観として語られている⁶。

運用では監査とガバナンスを同時に整える。全文テキストは取り扱い注意の情報そのものだ。保存期間、アクセス権限、多要素認証、転送時/保存時の暗号化、マスキングの既定、モデル学習への利用可否、データ所在国の制約などは、セキュリティ部門と初期に合意しておく。可用性の観点では、ASR API障害時のフォールバック（別ベンダー待機）、バッチ転記の遅延許容、録音のローカルバッファ保持時間を定めておくと、不測時にも会話の連続性が保てる。現場の受容性を高めるには、誤認識のフィードバック回路を設け、週次で語彙辞書に反映する小さな改善サイクルを回す。ここで重要なのは、精度は自然に上がらないという現実だ。通話環境、マイク、語彙、話速、無音検出、UIの読みやすさなど非モデル要素を含めた総体として最適化してはじめて、業務KPIに効いてくる。

事例から見える現実的な落とし穴と対策

実導入で頻出するトラブルは、音声取り込みの歪みやコーデック不一致、語彙未登録による固有名詞の崩れ、暫定結果の過剰なチラツキ、CRM連携の重複登録、そして個人情報のマスク漏れだ。取り込みではサンプリング周波数やエンコーディングをASR設定と必ず一致させる。語彙は週次でログから未認識候補を抽出し、辞書に追加する運用を回す。チラツキはUI側で行末以外は落ち着いたタイポグラフィにし、確定上書きの差分ハイライトを抑えると読みやすい。連携は冪等キーで重複防止を設け、リトライ時も同一通話IDで上書きできるようにする。個人情報はASR段階でのマスキングが理想だが、実際には後処理でも二重に網をかけておくと安心感が違う。

まとめ：まずは小さく速く、効果を数字で積み上げる

小規模なパイロットでも、通話の文字化は効果が見えやすい。リアルタイム字幕でメモ負荷が下がる実感、終了直後の自動要約とCRM登録の省力化、全文監査の開始による安心感は、数週間でチームの空気を変え得る。重要なのは、AHT、ACW、QA網羅率、一次解決率といった業務KPIと直結する目標設定を行い、導入前後の比較を透明に残すこと。テクノロジーは目的ではなく手段であり、真価は改善サイクルに現れる。あなたの現場では、どの通話シナリオが最初の効果を出しやすいだろうか。まず代表的な10件を選び、語彙辞書を整え、リアルタイムと事後処理の両方を数週間走らせてほしい。効果が確認できたなら、席数とシナリオを段階的に広げればよい。積み上がるログは、そのまま次の自動化のベースになる。今日の一歩が、明日の標準になる。

参考文献

  1. Gartner. Gartner Predicts Conversational AI Will Reduce Contact Center Agent Labor Costs by $80 Billion in 2026. https://www.gartner.com/en/newsroom/press-releases/2022-08-31-gartner-predicts-conversational-ai-will-reduce-contac#:~:text=By%202026%2C%20conversational%20artificial%20intelligence,99%20billion%20in%202022
  2. Salesforce. State of Service: Inside Customer Service Trends. https://www.salesforce.com/ap/resources/articles/state-of-service-inside-customer-service-trends/?bc=OTH#:~:text=The%20benefits%20are%20clear%3A%2095,of%20decision
  3. ベルシステム24. ACW（After Call Work）とは（解説ページ）. https://www.solution.bell24.co.jp/ja/useful/wiki/acw/#:~:text=%E3%82%B3%E3%83%BC%E3%83%AB%E3%82%BB%E3%83%B3%E3%82%BF%E3%83%BC%E3%81%AE%E3%82%B3%E3%82%B9%E3%83%88%E3%83%80%E3%82%A6%E3%83%B3%E3%80%81%E7%94%9F%E7%94%A3%E6%80%A7%E5%90%91%E4%B8%8A%E3%81%AE%E3%81%9F%E3%82%81%E3%81%ABFAHT%E3%81%AE%E7%9F%AD%E7%B8%AE%E3%81%8C%E9%87%8D%E8%A6%81
  4. 楽天コミュニケーションズ（Rakuten Connect）. Column Vol.3（音声認識×品質管理・全件モニタリングの活用）. https://connect.rakuten.co.jp/storm/column03/single/vol03.html#:~:text=%E3%81%97%E3%81%8B%E3%81%97%E3%80%81%E9%9F%B3%E5%A3%B0%E8%AA%8D%E8%AD%98%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%8C%E3%81%9D%E3%82%8C%E3%82%89%E3%82%92%E4%B8%80%E5%A4%89%E3%81%95%E3%81%9B%E3%81%BE%E3%81%97%E3%81%9F
  5. 電通総研 CRM. コンタクトセンターのIVR活用（Vol.25）— テキスト化データの活用と分析. https://crm.dentsusoken.com/blog/cc_ivr_utilize-vol25/#:~:text=,%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E5%8C%96%E3%81%95%E3%82%8C%E3%81%9F%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E4%BD%BF%E7%94%A8
  6. AI in Business News. How AI Voice Cuts Average Handle Time by 25% in Call Centers. https://aiinbusinessnews.com/uncategorized/how-ai-voice-cuts-average-handle-time-by-25-in-call-centers/#:~:text=,performance%20trackers%2C%20and%20customer%20feedback