新闻人物言论自动提取
-
-
① 使用维基百科下载中文语料库
链接:https://dumps.wikimedia.org/zhwiki/20190720/② 抽取语料库的内容
链接:https://github.com/attardi/wikiextractor
方法1: wikiextractor
github上下载git clone https://github.com/attardi/wikiextractor.git
进入目录,运行python WikiExtractor.py -o zhwiki-20190401-pages-articles.xml.bz 文件名
方法2:gensim WikiCorpus
安装gensim,调用即可 -
此项目使用的是阿里云数据库,远程访问即可
数据库地址(Host) 用户名(User) 用户密码(Password) 数据库名(Database) 表名
访问工具:pymysql 或者 sqlalchemy
-
-
具体操作,请访问
https://github.com/huangmgithub/NLP_Course/tree/master/Lesson04
词向量训练完成后,可获得以下文件:
wiki.zh.model wiki.zh.model.trainables.syn1neg.npy wiki.zh.model.wv.vectors.npy wiki.zh.vectors
-
工具:搜索树(广度优先) + 动态规划 + NER
-
工具:pyltp(自然语言处理工具) + TF-IDF(文本相似度)
pyltp参考文档:
https://pyltp.readthedocs.io/zh_CN/latest/
sklearn参考文档:
https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html
To be Continued......