视频免费观看网站不卡,97久久久久久久久精品,av日韩天堂在线播放

② 語音助手行業(yè)常用評(píng)測方式
語音助手是一個(gè)語音交互系統(tǒng)，它有四大核心瓶頸：喚不醒、聽不清、聽不懂和說不清。針對(duì)這四個(gè)瓶頸，目前行業(yè)內(nèi)有一些比較通用的評(píng)測方法。

喚不醒，開展喚醒評(píng)測，一般是在語音實(shí)驗(yàn)室內(nèi)開展的，輸出指標(biāo)是不同場景下的喚醒率以及誤喚醒率。
聽不清，開展ASR識(shí)別率評(píng)測，輸出指標(biāo)為字錯(cuò)率和句錯(cuò)率。它可以在語音實(shí)驗(yàn)室開展，優(yōu)點(diǎn)是可以按照不同場景進(jìn)行評(píng)測，缺點(diǎn)是不能反映真實(shí)的線上用戶體驗(yàn)，因?yàn)樵u(píng)測集是通過錄音室采集得到的，而不是真實(shí)線上用戶的數(shù)據(jù)；它還可以通過線上接口進(jìn)行評(píng)測，優(yōu)點(diǎn)是可以使用線上的真實(shí)用戶的音頻數(shù)據(jù)來檢驗(yàn)識(shí)別結(jié)果，而且評(píng)測數(shù)據(jù)量大。
聽不懂，開展意圖準(zhǔn)召評(píng)測，和搜索一樣，主要目的是對(duì)比人工評(píng)判和實(shí)際算法的預(yù)測效果，輸出的指標(biāo)是召回率、準(zhǔn)確率以及F值。聽不懂，還開展?jié)M意度評(píng)測，評(píng)測結(jié)果對(duì)用戶的滿足程度，會(huì)考慮內(nèi)容是否正確、豐富，交互是否更人性化等等。
說不清，開展TTS評(píng)測，評(píng)測時(shí)會(huì)考慮語音合成的自然度、清晰度、擬人度等，輸出的指標(biāo)是MOS得分。

2. 數(shù)據(jù)選取

不管是搜索評(píng)測還是語音助手評(píng)測，抽樣方法都可以分為四類。
首先是隨機(jī)抽樣，包括用戶日志隨機(jī)和用戶隨機(jī) 。用戶日志包括文本日志和音頻日志，比如語音助手主要的數(shù)據(jù)就為音頻日志。我們從這些日志中隨機(jī)選取合適的評(píng)測數(shù)量，這種方法的優(yōu)點(diǎn)是能完全反應(yīng)用戶需求的真實(shí)分布，缺點(diǎn)是無法較好地發(fā)現(xiàn)長尾問題和局部問題。
第二種是去重抽樣，將PV全部轉(zhuǎn)換為1，再進(jìn)行隨機(jī)抽取日志的方法，這種抽樣方法一定要說明情況，避免以偏概全。去重抽樣的優(yōu)點(diǎn)是能更好地覆蓋長尾查詢，缺點(diǎn)是數(shù)據(jù)分布與線上用戶的真實(shí)需求分布不一致。
第三種抽樣方法是分層抽樣，根據(jù)用戶日志分為高頻、中頻和長尾日志，按照比例分別進(jìn)行抽樣。具體高頻、中頻、長尾的定義與產(chǎn)品有很大關(guān)系，并不能說PV超過一個(gè)值就是高頻日志。它的優(yōu)點(diǎn)是能夠?qū)Ω鱾€(gè)分段進(jìn)行有針對(duì)性的分析，比如產(chǎn)品經(jīng)理想要看線上整體效果就使用隨機(jī)抽樣，而他想要重點(diǎn)優(yōu)化高頻交互的效果，那么我們就要分層抽樣。但它的缺點(diǎn)是數(shù)據(jù)分布與線上用戶的真實(shí)需求分布不一致。
第四種抽樣方法是垂直抽樣。在用戶日志中，我們會(huì)針對(duì)一些特性進(jìn)行局部抽樣。我們可以按領(lǐng)域進(jìn)行抽樣，如想要對(duì)閑聊進(jìn)行評(píng)測，我們抽取的query就是閑聊領(lǐng)域的query 。垂直抽樣的優(yōu)點(diǎn)是能更好地覆蓋和發(fā)現(xiàn)局部類型的問題，缺點(diǎn)是無法從整體上說明問題。
3. 評(píng)測維度和規(guī)則選取
根據(jù)產(chǎn)品的定位以及評(píng)測的目的，我們可以選取不同的評(píng)測維度。
第一個(gè)維度：返回的結(jié)果不能有違反國家法律法規(guī)、影響用戶情緒的虛假錯(cuò)誤信息，比如黃賭毒等。
第二個(gè)維度：垃圾、作弊、低質(zhì)量信息也是我們重點(diǎn)關(guān)注的一個(gè)維度。垃圾包括死鏈等，作弊比如含虛假鏈接或者堆砌內(nèi)容等，低質(zhì)量指的是內(nèi)容質(zhì)量不高。這些情況在搜索引擎和語音助手中都較為常見。
第三個(gè)維度：意圖理解就是預(yù)判用戶query的真實(shí)需求。我們必須理解用戶的意圖才能給出相關(guān)的、高質(zhì)量的內(nèi)容。如果意圖理解出現(xiàn)了較大偏差，給出的結(jié)果就算內(nèi)容質(zhì)量再好，也會(huì)嚴(yán)重影響用戶體驗(yàn) 。
第四個(gè)維度是相關(guān)性，它是一個(gè)好的結(jié)果最基本也最重要的要求。主要是指用戶需求和給出的結(jié)果是不是說的是一回兒事。

以上關(guān)于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關(guān)的問題，請(qǐng)您及時(shí)就醫(yī)或請(qǐng)專業(yè)人士給予相關(guān)指導(dǎo)!

「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對(duì)您有所幫助：

如何評(píng)價(jià)智能助手的好壞( 二 )