この記事は更新から24ヶ月以上経過しているため、最新の情報を別途確認することを推奨いたします。

QnAMakerの回答精度を簡単に高める４つの方法

QnAMakerの有無にかかわらずチャットボットによくある課題

QnAMakerをベースとしている場合でも、そうでない場合でも
運用を続けていると以下のような課題にぶつかることがあるかと思います。

ユーザーによって、投げかける質問の内容や投げかけ方は様々。
例えば年末調整についての質問をする場合でも、聞き方はユーザーによって、さまざまです。

『年末調整について教えて』
『年末調整申請用ポータルのURLがわからない』
『年末調整申請ポータルの場所はどこ？』

ユーザーによって、聞き方が違ったり
類義語や専門用語の使い方もさまざま・・・　
こういった理由から単純にQ&Aをチャットボットに覚えさせただけでは回答の精度が上がらない場合があります。

時代も会社は常に変化を続けているので、Q&Aの内容も合わせて変化していく必用があります。
また回答の精度が上げるために随時Q&Aをメンテナンスしていく必用があります。

前述した、以下の課題がユーザーに浸透することで、チャットボットがつかってもらえない状態になる場合もあります。
・回答の精度が上がらない　
・Q&Aのメンテナンスが大変

そこでQnAMakerだからできる４つの課題解決方法を今回は紹介したいと思います。
前提とする構成は以下の通りです。

Azure Bot ServiceにBOTが回答を投げた際に
回答に対してアンケートを投げることで、正答率を算出できるようになります。
『はい』、『いいえ』だけでなく、『問い合わせ』ボタンを併設することでアンケート回答率が上がります。
（当社比）

問い合わせ時は、有人チャット対応に切り替えたり、有人問い合わせフォームに誘導したりしたりなどいくつかのやり方があります。
どうしても課題が解決できない場合に最終的に有人誘導してあげることで、ユーザー離れを防ぐことができます。

アンケート結果とPowerBiを連携することで以下のような
ボットの実績の分析だけでなく、効率的なメンテナンスにつなげることができるダッシュボードを作成することができます。

以下は一例です。

カスタマイズが必要になるのは以下の矢印の部分です。

BOTが確信をもった回答を出せない場合
一定の確信度をもった回答の候補を選択肢としてユーザーに投げかけることで
ユーザーが自身が必要なQAナレッジを自ら選択できるようになり、解を得られやすくなります。

カスタマイズが必要になるのは以下の矢印の部分です。

QnAMakerには標準でBOTをテストして、BOTの回答を修正したり
足りない回答をその場で追加したりできる画面標準搭載されています。
https://docs.microsoft.com/ja-jp/azure/cognitive-services/qnamaker/how-to/test-knowledge-base?tabs=v1

　
テスト画面はQnAMakerの標準の機能なので、カスタマイズなしですぐに利用可能です。
　

専門用語や類義語を登録することで
ユーザーによって異なる言い回しや単語を同義語として扱うことができるようになります。
これにより回答精度を高められるようになります。

APIはWebAPIなので、専用画面を作って管理したり
もっとライトにエクセルで類義語を管理して、そのままVBAで更新をかけたりできるので非常に便利です。
https://docs.microsoft.com/ja-jp/azure/cognitive-services/qnamaker/concepts/best-practices?tabs=v1
　

APIはカスタマイズなしで利用可能ですが、APIに対して類義語登録を送信するための仕組みが必要です。
簡単にはじめられるエクセルVBAがおすすめです。

以上、簡単にできる
チャットボットの回答精度向上方法になります。

　
次回以降は少し凝った方法で回答精度を高めたり、メンテナンス効率を高める方法をご紹介できればと思います。