一種用于數(shù)據(jù)集的數(shù)據(jù)使用質(zhì)量的評(píng)估方法

基本信息

申請(qǐng)?zhí)?/td> CN201610389829.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN105975631A 公開(kāi)（公告）日 2016-09-28
申請(qǐng)公布號(hào) CN105975631A 申請(qǐng)公布日 2016-09-28
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 阮彤;甘似禹;葉琪;李陽(yáng);趙亮 申請(qǐng)（專利權(quán)）人 上海億通國(guó)際股份有限公司
代理機(jī)構(gòu) - 代理人 -
地址 200237 上海市徐匯區(qū)梅隴路130號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種用于數(shù)據(jù)集的數(shù)據(jù)使用質(zhì)量的評(píng)估方法，包括：獲取在數(shù)據(jù)集上回答自然語(yǔ)言問(wèn)題時(shí)的問(wèn)題評(píng)測(cè)集；根據(jù)所述問(wèn)題評(píng)測(cè)集的問(wèn)題進(jìn)行總結(jié)和歸納，形成多個(gè)問(wèn)題模板；以及根據(jù)所述問(wèn)題模板和使用質(zhì)量度量，將最終的查詢結(jié)果與正確答案進(jìn)行對(duì)比，計(jì)算出查詢結(jié)果的精度、召回率和綜合信息性以便用戶評(píng)估所述數(shù)據(jù)集的數(shù)據(jù)使用質(zhì)量。相比于現(xiàn)有技術(shù)，本發(fā)明將數(shù)據(jù)集應(yīng)用于問(wèn)答系統(tǒng)時(shí)的問(wèn)題作為使用場(chǎng)景，每個(gè)查詢問(wèn)題對(duì)應(yīng)于一個(gè)使用場(chǎng)景，并通過(guò)可查詢性度量在數(shù)據(jù)集上構(gòu)建查詢的難以程度，以及通過(guò)信息性度量特定的使用場(chǎng)景中的查詢結(jié)果所包含的信息量，從而可操作地評(píng)估數(shù)據(jù)集的數(shù)據(jù)使用質(zhì)量。