会話型AIチャットボットの成功を測定する方法

[[385791]]

【51CTO.com クイック翻訳】組織は、特にヘルスケア分野において、データ分析をチャットボット開発プロセスの一部にし、ユーザーのニーズに基づいて機能を改善するよう努めるべきです。

昨年、チャットボット開発会社のQuovantis Technologiesが医療ユーザー向けに会話型AIチャットボットを構築していたとき、ユーザーのニーズを満たすのが難しいことに気付きました。同社は通常、レベル 2 の AI ボットを開発しています (会話型 AI の最高レベルはレベル 5 です)。しかし、このユーザーはシナリオ/コンサルテーションベースの AI 駆動型チャットボットを構築したいと考えています。

懸念されるのは、チャットボットがエンドユーザーの質問をどれだけ理解できるか、より人間らしくするためにどのような機能を構築できるか、人間の気遣いや共感をうまく置き換えることができるか、共感や気遣いといった同じ感情を持つことができるか、ということです。

Quovantis Technologies がすべての取り組みに成功したとしても、会話型 AI チャットボットが設計どおりに機能しているかどうかはどのようにしてわかるのでしょうか。プログラムの「成功」をどのように定義するのでしょうか。

この懸念は、会話がぎこちなく学習機能が限られているためにチャットボットの顧客体験が劣悪であるという記事をフォーブス誌が発表したときに現実のものとなりました。

Quovantis Technologiesの製品ディレクター、スミート・メータ氏は次のように語った。「開発されたAIチャットボットの機能が顧客の求めているものではないのは残念です。スカイスキャナーのチャットボットを使用したとき、私の要求を誤解することがよくありました。さらに腹立たしいのは、チャットボットを使用した顧客が問題を軽視しているように見えることです。」

問題は、チャットボットにおけるデータ分析の重要性のみを認識している組織や管理者にあります。ユーザーの行動、つまり顧客を失望させたり満足させたりすることを理解することは、彼らの仕事の範囲を超えています。このような考え方のため、チャットボットの開発と導入は失敗することが多いのです。

これに対する解決策はあるでしょうか?

チャットボットの未来は人間が握っているため、解決策は確かに存在します。チャットボットをよりユーザーフレンドリーにするには、ソフトウェア面（エンジニアリング、ユーザーエクスペリエンス、セキュリティなど）をより堅牢にする必要があるだけでなく、データ分析を開発プロセスの一部にするための努力も必要です。つまり、チャットボットの会話の有効性を常に監視し、ユーザーのニーズに基づいて機能を改善する必要があります。

チャットボットの有効性を測定するにはどうすればよいでしょうか?

優れた会話型 AI チャットボットを構築するのは難しい作業です。サービスとして立ち上げても成功するかどうかはわかりません。そのため、エンドユーザーとのあらゆるやり取りを測定することが重要です。

チャットボットが成功しているかどうかを確認するために追跡できる特定の指標があります。これを行うには、次の質問をする必要があります。

• チャットボットはユーザーの問い合わせを処理し、満足のいく回答を提供できますか?
• チャットボットはユーザーの意図を理解できますか?
• チャットボットとの会話の平均時間はどれくらいですか?
• ユーザーから最もよく聞かれる質問は何ですか?
• 最も一般的な会話の経路は何ですか?
• チャットボットは 1 日 / 1 週間 / 1 か月あたりに何件のメッセージを受信 / 送信しますか?
• チャットボットが質問に答えられなかったことは何回ありますか?
• チャットボットは会話を人間にうまく引き継ぐことができるでしょうか?
• チャットボットはユーザーから高リスクの意図を検出しますか?
• チャットボットは一度に何人のアクティブ/定期ユーザーを処理しますか?
• チャットボットについて顧客は何と言っていますか?

チャットボットの種類に応じて、他の多くのメトリックを定義できます。

これらの指標を測定するために、現在、いくつかのチャットボット分析ツールが市場で入手可能です。これらのチャットボット 3 つを例に挙げると、それぞれに長所と短所があります。

1. ボタナリティクス

組織がユーザーライフサイクルの概要を提供できるツールを探している場合、Botanalytics は最適です。これは、ユーザーが製品に関与してから製品を離れるまでの全体的なジャーニーを特定するための優れたツールです。各会話をドリルダウンして（会話ごとにトランスクリプトが利用可能）、チャットボットが応答できなかった場所を確認できます。

組織はさまざまな目標を設定し、チャットを会話パスに分類できます。これは、どの会話が目標を達成し、どの会話が達成していないかを組織が調べるのに役立つため、優れた機能です。

たとえば、組織の目標が、チャットで提供されたリンクからユーザーにモバイル アプリをダウンロードしてもらうことである場合、このツールでは、その目標を完了したセッションの数が表示されます。

組織は会話パスを設定し、チャットボットによって正常に処理された会話の数を確認することもできます。

2. グラファナ

Grafana はチャットボット分析ツールではありません。代わりに、アプリケーション、Web サイト、さらにはカスタム データ ソースを監視するために使用できるオープン ソース プラットフォームです。ユーザーはこれをチャットボット プラットフォームと統合し、チャットボット分析ツールとして使用できます。

Grafana を使用する利点の 1 つは、ニーズに合わせてダッシュボードを簡単にカスタマイズおよび調整できることです。

組織が、理解、分析、分析すべきデータが大量にあるチャットボットを導入する場合は、Grafana を検討する必要があります。高度にカスタマイズ可能な無料ソフトウェアです。組織は、評価者や関係者のニーズに基づいてダッシュボードを作成したり、パネルを追加したり、視覚化を変更したりできます。

3. チャットベース

Chatbase は、組織がチャットボットを分析プラットフォームに統合できるようにする無料のクラウドベースのツールです。 Chatbase の最も優れた機能の 1 つは、組織がチャットボットを分析して最適化できるように支援することです。

分析機能に関して言えば、Chatbase には、会話フロー、ファネル作成、未処理メッセージのグループ化、チャット履歴など、組織が想像できるすべての機能が備わっています。ダッシュボードのユーザー インターフェース (UI) は、Google アナリティクスのものと非常によく似ています。したがって、Google Analytics ユーザーにとっては使いやすくなります。

[[385793]]

最適化の部分では、Chatbase はユーザーの行動を追跡し、何がユーザーにとって効果的か (または効果的でないか) を把握することで、ユーザーを理解するための洞察を提供します。これは、組織が特定のユーザー層をターゲットにし、分析ツールからの特定の入力に基づいてメッセージングやプロモーションを改善したい場合に特に役立ちます。

結論は

チャットボットを構築する際、分析を組み込む戦略は見落とされやすく、簡単に回避できる追加の責任と見なされることがよくあります。ただし、チャットボットのパフォーマンス メトリックの測定は開発戦略に含める必要があります。これは、チャットボットが想定どおりに動作しているかどうかを組織が定義する唯一の方法だからです。

組織がこれらのツールを統合し、分析を使用してエンドユーザーのチャットボット エクスペリエンスを強化し、ニーズに最適なツールを見つけることができれば幸いです。

会話型 AI チャットボットの成功を測定する方法

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]