QnAMakerの回答精度を簡単に高める4つの方法

QnAMakerの回答精度を簡単に高める4つの方法

QnAMakerの有無にかかわらずチャットボットによくある課題

QnAMakerをベースとしている場合でも、そうでない場合でも
運用を続けていると以下のような課題にぶつかることがあるかと思います。

回答の精度が上がらない

ユーザーによって、投げかける質問の内容や投げかけ方は様々。
例えば年末調整についての質問をする場合でも、聞き方はユーザーによって、さまざまです。

『年末調整について教えて』
『年末調整申請用ポータルのURLがわからない』
『年末調整申請ポータルの場所はどこ?』

ユーザーによって、聞き方が違ったり
類義語や専門用語の使い方もさまざま・・・ 
こういった理由から単純にQ&Aをチャットボットに覚えさせただけでは回答の精度が上がらない場合があります。

 

Q&Aのメンテナンスが大変

時代も会社は常に変化を続けているので、Q&Aの内容も合わせて変化していく必用があります。
また回答の精度が上げるために随時Q&Aをメンテナンスしていく必用があります。

 

ユーザーにつかってもらえない(だんだん使われなくなる)

前述した、以下の課題がユーザーに浸透することで、チャットボットがつかってもらえない状態になる場合もあります。
・回答の精度が上がらない 
・Q&Aのメンテナンスが大変

QnAMakerで簡単にできる4つの課題解決方法

そこでQnAMakerだからできる4つの課題解決方法を今回は紹介したいと思います。
前提とする構成は以下の通りです。

image.png

課題解決方法

①Azure Bot Service と PowerBIを連携することでユーザーの問い合わせを分析して、ナレッジを効率的にメンテナンスする

Azure Bot ServiceにBOTが回答を投げた際に
回答に対してアンケートを投げることで、正答率を算出できるようになります。
『はい』、『いいえ』だけでなく、『問い合わせ』ボタンを併設することでアンケート回答率が上がります。
(当社比)

問い合わせ時は、有人チャット対応に切り替えたり、有人問い合わせフォームに誘導したりしたりなどいくつかのやり方があります。
どうしても課題が解決できない場合に最終的に有人誘導してあげることで、ユーザー離れを防ぐことができます。

image.png

アンケート結果とPowerBiを連携することで以下のような
ボットの実績の分析だけでなく、効率的なメンテナンスにつなげることができるダッシュボードを作成することができます。

以下は一例です。

image.png

カスタマイズが必要になるのは以下の矢印の部分です。

image.png

 

 
 

②BOTが確信をもった回答をできない場合は、回答の候補をユーザーに投げかけてユーザーに選択してもらう

BOTが確信をもった回答を出せない場合
一定の確信度をもった回答の候補を選択肢としてユーザーに投げかけることで
ユーザーが自身が必要なQAナレッジを自ら選択できるようになり、解を得られやすくなります。

 image.png

カスタマイズが必要になるのは以下の矢印の部分です。

image.png

 
 

③QnAMakerのBOTテスト画面を活用する

QnAMakerには標準でBOTをテストして、BOTの回答を修正したり
足りない回答をその場で追加したりできる画面標準搭載されています。
https://docs.microsoft.com/ja-jp/azure/cognitive-services/qnamaker/how-to/test-knowledge-base?tabs=v1

 
テスト画面はQnAMakerの標準の機能なので、カスタマイズなしですぐに利用可能です。
 image.png

 
 
 
 
 
 

④QnAMakerの類義語登録APIを活用する

専門用語 や 類義語を登録することで
ユーザーによって異なる言い回しや単語を同義語として扱うことができるようになります。
これにより回答精度を高められるようになります。

APIはWebAPIなので、専用画面を作って管理したり
もっとライトにエクセルで類義語を管理して、そのままVBAで更新をかけたりできるので非常に便利です。
https://docs.microsoft.com/ja-jp/azure/cognitive-services/qnamaker/concepts/best-practices?tabs=v1
 

APIはカスタマイズなしで利用可能ですが、APIに対して類義語登録を送信するための仕組みが必要です。
簡単にはじめられるエクセルVBAがおすすめです。
image.png

 

おわりに

以上、簡単にできる
チャットボットの回答精度向上方法になります。

 
次回以降は少し凝った方法で回答精度を高めたり、メンテナンス効率を高める方法をご紹介できればと思います。

いいね (この記事が参考になった人の数:6)
(↑参考になった場合はハートマークを押して評価お願いします)
読み込み中...

注意事項・免責事項

※技術情報につきましては投稿日時点の情報となります。投稿日以降に仕様等が変更されていることがありますのでご了承ください。

※公式な技術情報の紹介の他、当社による検証結果および経験に基づく独自の見解が含まれている場合がございます。

※これらの技術情報によって被ったいかなる損害についても、当社は一切責任を負わないものといたします。十分な確認・検証の上、ご活用お願いたします。

※当サイトはマイクロソフト社によるサポートページではございません。パーソルプロセス&テクノロジー株式会社が運営しているサイトのため、マイクロソフト社によるサポートを希望される方は適切な問い合わせ先にご確認ください。
 【重要】マイクロソフト社のサポートをお求めの方は、問い合わせ窓口をご確認ください