fatefawkes / information-retrieval

信息检索大作业

信息检索大作业

大作业要求

• 实现对病人病历的检索模型（20分）
• 界面程序（无具体要求，实现基本功能，建议bash纯命令行界面）
• 实验报告（10分）

大作业内容

• 病人病历数据库 xml格式与txt格式前者是官方给定标准数据集格式，后者是为方便处理。官方文档是两者都可使用的，但是要以xml为准！
• 查询见topic.xml和extra_topics2017.pdf 通常做法是将disease字段作为查询，其他字段作为辅助。
• 提交结果形式：<查询ID> Q0 <> Q0 <文档ID> Q0 <> <文档排序> <文档评分> <系统ID> Q0 <>
• 评价指标——P@10 计算方法 可自己编写，也可以使用trec_eval脚本计算
• 5折交叉验证——3部分训练，1部分验证，1部分测试
• 测试结果取平均

完成方法

• 建立倒排索引（必做，已从康哲舟出拷贝，但是只是部分倒排索引，张路，从康哲舟处拷贝倒排索引和程序）
• BM25模型（戚亚涛，已完成）
• 界面（张家瑞，已完成）
• 词干还原（戚亚涛，必做，正在编写）
• 寻找医学语料库（张路，已完成）
• 查询扩展（张路，优化，已完成）
• 查询扩展进一步优化（张路，获取更大的语料库，正在编写）
• 程序完善（结果文件标准格式，计算准确率等，戚亚涛，张家瑞，正在编写）
• 相关反馈，模型训练（戚亚涛，张家瑞，查找文献，正在编写）
• 实验报告编写（石瑞聪，卢丽婧）

文件说明

• main.py 主程序文件
• bm25.py BM25模型
• query.py 查询文件
• word2vec.py 训练词向量
• data_helpers.py 读取数据文件
• util.py 工具文件
• SPIMI.py 倒排表构建文件
• test.py 测试编程想法
• clinical_trials.judgments.2017.csv 标准查询结果
• vocab.pkl 词典文件
• w2id.pkl 词与id字典
• id2w.pkl id与词字典
• ./trec_eval_latest trec_eval工具（用于计算准确率）
• ./IR界面 界面
• topic.xml 查询文件