用多指標(biāo)判斷“客服機(jī)器人” 看快商通如何做？（二）
發(fā)布時(shí)間：2017年03月17日 閱讀：
快商通近年來一直在加強(qiáng)人工智能領(lǐng)域的投入和研究，而可以說客服行業(yè)可以稱的上是人工智能切入實(shí)際應(yīng)用的前沿陣地，快商通采取多指標(biāo)打造的的客服機(jī)器人早已在客戶服務(wù)中的應(yīng)用。所采用的分別有以下五項(xiàng)指標(biāo)。
一、問題識(shí)別率
問題識(shí)別率是業(yè)內(nèi)主流客服機(jī)器人服務(wù)提供商或企業(yè)的工作邏輯，它指的是機(jī)器人能識(shí)別出客戶的問題數(shù)與所有問題數(shù)的比例。這項(xiàng)是行業(yè)中普遍應(yīng)用的衡量指標(biāo)。
在這個(gè)過程中，從客戶的千奇百怪的問題或者問法，機(jī)器人可以分析語義并尋找到知識(shí)標(biāo)準(zhǔn)答案，就算是問題識(shí)別對了，也就是給問題識(shí)別率加了一分。
而我們從做客服的角度來看，常常會(huì)懷疑這個(gè)數(shù)據(jù)，因?yàn)閷?shí)際經(jīng)驗(yàn)中自己去使用機(jī)器人的時(shí)候，它們好像沒有那么智能啊，所以，這也從一個(gè)側(cè)面說明了，我們需要有另外的一整套指標(biāo)來衡量，而不僅僅是單一的問題識(shí)別率。
二、撥測準(zhǔn)確率
撥測準(zhǔn)確率采用的是一種實(shí)驗(yàn)的方法，即用一定的公司內(nèi)部業(yè)務(wù)管理人員的人力，采取模擬客戶問題的方法和機(jī)器人實(shí)際開展對話，記錄結(jié)果的正確與否，人工判斷機(jī)器人回答準(zhǔn)確的數(shù)量占到總問題數(shù)的比例。這個(gè)指標(biāo)更笨但更真實(shí)的問題識(shí)別率
這個(gè)指標(biāo)的好處在于，是人腦判斷的對錯(cuò)，也是模擬客戶的角度去看待對錯(cuò)，所以在樣本量越大的情況下，我們認(rèn)為這個(gè)指標(biāo)越真實(shí)。以我們的實(shí)踐來看，撥測準(zhǔn)確率的數(shù)據(jù)比問題識(shí)別率要低3-4個(gè)點(diǎn)，即在90%左右的水平。
而這個(gè)指標(biāo)也有它的缺陷，首先要耗費(fèi)大量的人力去做這個(gè)事情，其次因?yàn)槭菢I(yè)務(wù)人員去撥測的，因?yàn)榉浅Ｊ煜I(yè)務(wù)的情況，所以不能完全真實(shí)的模擬客戶看到答案的感知，是否準(zhǔn)確，是否看的懂，都存在一定的偏差。
三、答案滿意度
客戶是智能機(jī)器人的最終使用者，所以只有真實(shí)的客戶是否認(rèn)同機(jī)器人的回答才是更真實(shí)的數(shù)據(jù)情況，普遍意義上可以有兩種典型的調(diào)研方式：
1、在機(jī)器人每回答一個(gè)問題的結(jié)束都設(shè)置一個(gè)評(píng)價(jià)小尾巴，客戶對逐條問題都可以選擇評(píng)價(jià)，并評(píng)價(jià)是否滿意這條回答。這樣做的好處是，通過大量的數(shù)據(jù)積累，可快速定位評(píng)分相對低的答案，然后回爐進(jìn)行優(yōu)化，以此往復(fù)，不斷提升；比如支付寶就是采用這種方式；
2、在整體機(jī)器人服務(wù)完成后彈出窗口進(jìn)行調(diào)研，調(diào)研客戶對整通機(jī)器人服務(wù)的完整感知，是否滿意；這樣的好處是沒有那么頻繁的騷擾客戶，且評(píng)價(jià)具有整體性，但是對于具體的提升幫助不夠明顯。
這個(gè)指標(biāo)是監(jiān)控機(jī)器人能力又一重點(diǎn)指標(biāo)，這個(gè)指標(biāo)在應(yīng)用上一定要注意UIUE的設(shè)計(jì)，盡量少的騷擾到客戶，所以建議不是常態(tài)化的用，最好在服務(wù)啟動(dòng)的初期和關(guān)鍵點(diǎn)去應(yīng)用。
四、服務(wù)滿足率
基本上，在線客服的行業(yè)的排列模式普遍是“智能機(jī)器人+在線人工服務(wù)”，機(jī)器人在前端解決大部分簡單、重復(fù)的問題，在機(jī)器人回答后則開放引導(dǎo)人工的入口，當(dāng)客戶不滿意機(jī)器人的答案或者有更高的要求的時(shí)候，客戶可以有兩種選擇，第一，通過人工入口，點(diǎn)擊進(jìn)入人工服務(wù)；第二，受不了了直接退出撥打同企業(yè)的人工服務(wù)熱線。
使用機(jī)器人最終是為了替代人力勞動(dòng)，降低人工成本，因此監(jiān)控客戶在機(jī)器人上完整解決問題的比例，對于智能機(jī)器人客服而言，意義很重大。在業(yè)內(nèi)，基本上沒有相關(guān)可以參考的行業(yè)平均值，我們的情況在85%左右。
五、調(diào)研滿意度
設(shè)計(jì)一個(gè)調(diào)研問卷，用外呼的方式，針對近期接受過機(jī)器人服務(wù)的客戶開展調(diào)研，這個(gè)方法很常規(guī)。在一定樣本量的基礎(chǔ)上，這個(gè)數(shù)據(jù)應(yīng)該最大概率的貼近客戶的真實(shí)感知，并且通過設(shè)計(jì)問卷的細(xì)項(xiàng)，我們可以找到具體的客戶認(rèn)為機(jī)器人不滿的點(diǎn)在哪里，同時(shí)加以提升和修正。
這個(gè)方法雖然很老土，但是很實(shí)用；行業(yè)不同，調(diào)研的內(nèi)容不同，這個(gè)數(shù)據(jù)的平均參考值也不同，但一般而言，85%會(huì)是一個(gè)較為合理的衡量標(biāo)準(zhǔn)。
綜上，智能機(jī)器人的技術(shù)發(fā)展日新月異，人工智能算法也在飛速的發(fā)展當(dāng)中， 相信在不久的將來，人工智能在客服的應(yīng)用將遠(yuǎn)超想象，快商通通過這五大關(guān)鍵指標(biāo)監(jiān)控，在不斷的發(fā)現(xiàn)問題和解決問題。
一、問題識(shí)別率
問題識(shí)別率是業(yè)內(nèi)主流客服機(jī)器人服務(wù)提供商或企業(yè)的工作邏輯，它指的是機(jī)器人能識(shí)別出客戶的問題數(shù)與所有問題數(shù)的比例。這項(xiàng)是行業(yè)中普遍應(yīng)用的衡量指標(biāo)。
在這個(gè)過程中，從客戶的千奇百怪的問題或者問法，機(jī)器人可以分析語義并尋找到知識(shí)標(biāo)準(zhǔn)答案，就算是問題識(shí)別對了，也就是給問題識(shí)別率加了一分。
而我們從做客服的角度來看，常常會(huì)懷疑這個(gè)數(shù)據(jù)，因?yàn)閷?shí)際經(jīng)驗(yàn)中自己去使用機(jī)器人的時(shí)候，它們好像沒有那么智能啊，所以，這也從一個(gè)側(cè)面說明了，我們需要有另外的一整套指標(biāo)來衡量，而不僅僅是單一的問題識(shí)別率。
二、撥測準(zhǔn)確率
撥測準(zhǔn)確率采用的是一種實(shí)驗(yàn)的方法，即用一定的公司內(nèi)部業(yè)務(wù)管理人員的人力，采取模擬客戶問題的方法和機(jī)器人實(shí)際開展對話，記錄結(jié)果的正確與否，人工判斷機(jī)器人回答準(zhǔn)確的數(shù)量占到總問題數(shù)的比例。這個(gè)指標(biāo)更笨但更真實(shí)的問題識(shí)別率
這個(gè)指標(biāo)的好處在于，是人腦判斷的對錯(cuò)，也是模擬客戶的角度去看待對錯(cuò)，所以在樣本量越大的情況下，我們認(rèn)為這個(gè)指標(biāo)越真實(shí)。以我們的實(shí)踐來看，撥測準(zhǔn)確率的數(shù)據(jù)比問題識(shí)別率要低3-4個(gè)點(diǎn)，即在90%左右的水平。
而這個(gè)指標(biāo)也有它的缺陷，首先要耗費(fèi)大量的人力去做這個(gè)事情，其次因?yàn)槭菢I(yè)務(wù)人員去撥測的，因?yàn)榉浅Ｊ煜I(yè)務(wù)的情況，所以不能完全真實(shí)的模擬客戶看到答案的感知，是否準(zhǔn)確，是否看的懂，都存在一定的偏差。
三、答案滿意度
客戶是智能機(jī)器人的最終使用者，所以只有真實(shí)的客戶是否認(rèn)同機(jī)器人的回答才是更真實(shí)的數(shù)據(jù)情況，普遍意義上可以有兩種典型的調(diào)研方式：
1、在機(jī)器人每回答一個(gè)問題的結(jié)束都設(shè)置一個(gè)評(píng)價(jià)小尾巴，客戶對逐條問題都可以選擇評(píng)價(jià)，并評(píng)價(jià)是否滿意這條回答。這樣做的好處是，通過大量的數(shù)據(jù)積累，可快速定位評(píng)分相對低的答案，然后回爐進(jìn)行優(yōu)化，以此往復(fù)，不斷提升；比如支付寶就是采用這種方式；
2、在整體機(jī)器人服務(wù)完成后彈出窗口進(jìn)行調(diào)研，調(diào)研客戶對整通機(jī)器人服務(wù)的完整感知，是否滿意；這樣的好處是沒有那么頻繁的騷擾客戶，且評(píng)價(jià)具有整體性，但是對于具體的提升幫助不夠明顯。
這個(gè)指標(biāo)是監(jiān)控機(jī)器人能力又一重點(diǎn)指標(biāo)，這個(gè)指標(biāo)在應(yīng)用上一定要注意UIUE的設(shè)計(jì)，盡量少的騷擾到客戶，所以建議不是常態(tài)化的用，最好在服務(wù)啟動(dòng)的初期和關(guān)鍵點(diǎn)去應(yīng)用。
四、服務(wù)滿足率
基本上，在線客服的行業(yè)的排列模式普遍是“智能機(jī)器人+在線人工服務(wù)”，機(jī)器人在前端解決大部分簡單、重復(fù)的問題，在機(jī)器人回答后則開放引導(dǎo)人工的入口，當(dāng)客戶不滿意機(jī)器人的答案或者有更高的要求的時(shí)候，客戶可以有兩種選擇，第一，通過人工入口，點(diǎn)擊進(jìn)入人工服務(wù)；第二，受不了了直接退出撥打同企業(yè)的人工服務(wù)熱線。
使用機(jī)器人最終是為了替代人力勞動(dòng)，降低人工成本，因此監(jiān)控客戶在機(jī)器人上完整解決問題的比例，對于智能機(jī)器人客服而言，意義很重大。在業(yè)內(nèi)，基本上沒有相關(guān)可以參考的行業(yè)平均值，我們的情況在85%左右。
五、調(diào)研滿意度
設(shè)計(jì)一個(gè)調(diào)研問卷，用外呼的方式，針對近期接受過機(jī)器人服務(wù)的客戶開展調(diào)研，這個(gè)方法很常規(guī)。在一定樣本量的基礎(chǔ)上，這個(gè)數(shù)據(jù)應(yīng)該最大概率的貼近客戶的真實(shí)感知，并且通過設(shè)計(jì)問卷的細(xì)項(xiàng)，我們可以找到具體的客戶認(rèn)為機(jī)器人不滿的點(diǎn)在哪里，同時(shí)加以提升和修正。
這個(gè)方法雖然很老土，但是很實(shí)用；行業(yè)不同，調(diào)研的內(nèi)容不同，這個(gè)數(shù)據(jù)的平均參考值也不同，但一般而言，85%會(huì)是一個(gè)較為合理的衡量標(biāo)準(zhǔn)。
綜上，智能機(jī)器人的技術(shù)發(fā)展日新月異，人工智能算法也在飛速的發(fā)展當(dāng)中， 相信在不久的將來，人工智能在客服的應(yīng)用將遠(yuǎn)超想象，快商通通過這五大關(guān)鍵指標(biāo)監(jiān)控，在不斷的發(fā)現(xiàn)問題和解決問題。
分享到
