lnnnnnn / kgsearch

基于知识图谱的文档搜索系统

基于知识图谱的文档搜索系统

系统架构

1.构建图谱

（1）无监督新词发现

将文档的句子按NGram分块，构建字典树，筛选出词频、信息熵、PMI均满足要求的短语作为图谱标签库。

（2）构建三元组

挖掘标签之间的共现、类属、同义词等关系，构建三元组。利用共现窗口筛选满足阈值的共现标签，挖掘共现关系；基于后缀法和ngram生成候选中心词，挖掘isA关系等。

2.文档搜索

（1）召回

 a.将query分词，得到标签词（用前缀树匹配分词与图谱中的标签，匹配成功的词）和普通词

 b.根据图谱将标签词用bfs做扩展，得到更多标签，计算所有标签的权重

  权重计算：

  i.  标签词：（扩展词最大权重+扩展词权重和）* w1

  ii. 普通词：w2 + w3 *词权重

 c.根据标签以及得分，用倒排索引和bm25计算出query与文档的关系得分，返回一系列候选文档

（2）重排

训练数据：结合了华为方的标注数据和用户搜索日志

特征：文档的热度信息（浏览量、下载量、收藏量、评论量等）以及搜索日志中的特征

模型：ranknet

损失函数：二元交叉熵

目录结构

KGSearch/

├── data （训练数据以及输出文件）

├── db (倒排索引库样例文件)

├── rerank (重排模型)

│  ├── rerank (ranknet模型)

│  ├── main (训练模型)

│  └── example (调用模型)

├── style

├── TagGraph （图谱构建）

│  ├── gen_rels_coocc.py （生成共现关系）

│  ├── gen_rels_isa.py （生成isA关系）

│  ├── new_word.py （新词发现）

│  └── tag_doc.py （给文档打标签）

├── BM25.py (召回)

├── gen_rels.py (生成关系)

├── gen_tags.py (生成标签)

├── kg_utils.py (操作库文件工具)

├── kw_api.py (CNDBPedia api )

├── make_docu_txts.py (文件处理)

├── search.py (搜索框架)

├── utils.py （常用工具）

└── wtrie.py（字典树）

---

代码为系统核心框架及算法的复现，去除了意图识别等特征处理算法以及高度匹配华为数据需求的代码。

Others:

api调用kw实验室的中文知识图谱CNDBPedia，详情见 http://kw.fudan.edu.cn/cndbpedia/search/

运行步骤

1.运行TagGraph模块构建图谱

2.rerank模块训练ranknet网络

3.运行search.py server 启动服务，端口号41324

kgsearch's Issues

运行当中的问题

BM25召回中有多处报错，想问下如何解决？