
文章插圖
導(dǎo)讀:近幾年來,評測開始頻繁出現(xiàn)在人們的生活中,大家對“評測”這個詞的認(rèn)知也越來越深刻 。比如買房、買車、選購數(shù)碼產(chǎn)品等,人們都會去從某些維度對物品進(jìn)行對比,最終得出一個評估結(jié)論 ?;ヂ?lián)網(wǎng)產(chǎn)品與日常商品的評測同時具有相同點(diǎn)和不同點(diǎn) 。本次分享的內(nèi)容是小布助手的評測體系 。
具體將圍繞以下幾部分展開:
- 評測概念及評測目的
- 評測五要素詳細(xì)介紹
- 評測通用流程
- 小布助手評測體系
- 總結(jié)與展望
評測概念及評測目的
首先和大家分析評測的概念和目的 。
評測是以目的為導(dǎo)向的,涵蓋的范圍可大可小 。我們可以將評測定義為評估+測量,它通過一定的規(guī)則對觀察到的現(xiàn)象做出量化描述 。
日常生活中的商品評測和互聯(lián)網(wǎng)產(chǎn)品以及人工智能評測有相同點(diǎn)和不同點(diǎn) 。相同點(diǎn)是方法論,它是可以互相復(fù)制的 。方法論可復(fù)制指的是,不管是商品評測還是互聯(lián)網(wǎng)產(chǎn)品評測,我們都要考慮評測的樣本、維度以及方法 。評測的不同點(diǎn)有很多,主要有以下三點(diǎn):
- 互聯(lián)網(wǎng)產(chǎn)品之間需求場景的差異較大 ?;ヂ?lián)網(wǎng)產(chǎn)品評測的場景很多,比如搜索任務(wù)分為百度、頭條這類綜合性搜索,淘寶、京東這類購物型搜索,以及其他一些垂類搜索(美團(tuán)、攜程等);人工智能產(chǎn)品如語音助手的評測,它在手機(jī)上、在電視上以及在車載環(huán)境下的場景需求也各不相同 。
- 互聯(lián)網(wǎng)產(chǎn)品或者人工智能產(chǎn)品屬于海量數(shù)據(jù)的評測,樣本選取至關(guān)重要,結(jié)論指標(biāo)更可量化 。
- 商品評測都有一定的商業(yè)目的,但是互聯(lián)網(wǎng)產(chǎn)品或者人工智能產(chǎn)品其實(shí)很多時候不會關(guān)注商業(yè)化,也不會去關(guān)注產(chǎn)品策略或者算法是怎么樣的,而是優(yōu)先關(guān)注用戶體驗(yàn) 。評測一切以用戶價值為依歸,來全面提升用戶的體驗(yàn) 。
總的來說,評測的目的有兩個 。首先,從用戶角度通過大量的樣本發(fā)現(xiàn)用戶感知的共性問題,為產(chǎn)品策略和算法優(yōu)化提供思路,并推動落地 。其次,評測迭代優(yōu)化效果,為上線提供依據(jù),并預(yù)估出上線存在的風(fēng)險點(diǎn) 。
02
評測要素
評測的五大要素:評測方式、數(shù)據(jù)選取(抽樣方法)、評測的維度及對應(yīng)的打分規(guī)則、評測標(biāo)注打分(評測人員對query的需求和結(jié)果判斷)以及評測報告 。下面,針對這五個要素進(jìn)行詳細(xì)介紹 。
1. 評測方式
下面通過搜索行業(yè)和語音助手行業(yè)分別來介紹常用的評測方式 。
① 搜索行業(yè)常用評測方式
常用的評測方法有:
- 整體滿意度(Per-page),即整個頁面所有結(jié)果的整體用戶滿意度,輸出指標(biāo)是滿意度均分 。
- 對比評測(SBS),主要是評雙方的差異點(diǎn),輸出指標(biāo)是勝出率 。注意,開展此類評測,要保證評測對象具有可對比性 。
- 單條打分(PI),即針對query下url結(jié)果頁分別進(jìn)行打分,按照結(jié)果的位置權(quán)重進(jìn)行加權(quán),最后得出query的得分,輸出指標(biāo)是NDCG,這種評測方式一般用于相關(guān)性排序 。
- 最后一種方式是召回率和準(zhǔn)確率的評測,主要目的是對比人工評判和實(shí)際算法的預(yù)測效果,輸出的指標(biāo)是召回率、準(zhǔn)確率以及F值 。
以上關(guān)于本文的內(nèi)容,僅作參考!溫馨提示:如遇健康、疾病相關(guān)的問題,請您及時就醫(yī)或請專業(yè)人士給予相關(guān)指導(dǎo)!
「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容,希望對您有所幫助:- 智能助手進(jìn)入黃金新十年
- OPPO小布助手豈止于AI 小布是OPPO家的智能助理
- 維持異地戀的技巧有哪些 如何保持異地戀
- 微信如何快速加人 微信快速加人的方法有哪些
- 回收家電怎么樣 回收家電如何處理
- 如何維持跨國戀 維持跨國戀的技巧
- 直播內(nèi)容策劃步驟 直播內(nèi)容策劃有哪些
- 電話客服的工作如何 電話客服的工作怎么樣
- 新手創(chuàng)業(yè)如何入手 年輕人如何創(chuàng)業(yè)
- 如何做好快遞客服 新手如何做快遞客服
