信息检索的评价.ppt

该【信息检索的评价 】是由【wyj199215】上传分享，文档一共【47】页，该文档可以免费在线阅读，需要了解更多关于【信息检索的评价 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。现代信息检索MODERN INFORMATION RETRIEVAL
Annual Work Summary Report
第二章 信息检索的评价(IR evaluation)
202X年12月20日
2
01
为什么要评价？
02
评价什么？
03
如何评价？
04
怎么基于实验结果，给出各项评价指标？
课前思考题
3
提纲
信息检索的评价
基本指标：召回率、正确率
其他指标：F值、AP、MAP
TREC会议概况
4
提纲
信息检索的评价
基本指标：召回率、正确率
其他指标：F值、AP、MAP
TREC会议概况
5
从竞技体育谈起
世界记录 vs. 世界最好成绩
110米栏世界记录：刘翔，中国，12’’88
男子马拉松世界最好成绩：保罗· 特尔加特，肯尼亚，2小时4分55秒
评价要公平！
环境要基本一致：天气、风速、跑道等等
比赛过程要一样：竞走中的犯规
指标要一样：速度、耐力
6
为什么要评估IR？
通过评估可以评价不同技术的优劣，不同因素对系统的影响，从而促进本领域研究水平的不断提高
类比：110米栏各项技术---起跑、途中跑、跨栏、步频、冲刺等等
信息检索系统的目标是较少消耗情况下尽快、全面返回准确的结果。
效率 (Efficiency)—可以采用通常的评价方法
时间开销
空间开销
响应速度
效果 (Effectiveness)
返回的文档中有多少相关文档
所有相关文档中返回了多少
返回得靠不靠前
其他指标
覆盖率(Coverage)
访问量
数据更新速度
7
IR中评价什么？
#2022
相同的文档集合，相同的查询主题集合，相同的评价指标，不同的检索系统进行比较。
The Cranfield Experiments, Cyril W. Cleverdon,1957 –1968 (上百篇文档集合)
SMART System, Gerald Salton, 1964-1988 (数千篇文档集合)
TREC(Text REtrieval Conference), DonnaHarman, 美国标准技术研究所, 1992 - (上百万
篇文档)，信息检索的“奥运会”
8
如何评价效果？
#2022
9
评价指标分类
对单个查询进行评估的指标
对单个查询得到一个结果
对多个查询进行评估的指标(通常用于对系统的评价)
求平均
10
评价指标(1)