# Knowledge-Graph

**Repository Path**: A3111/Knowledge-Graph

## Basic Information

- **Project Name**: Knowledge-Graph
- **Description**: 深度学习与自然语言处理、知识图谱、对话系统。包括知识获取、知识库构建、知识库应用三大技术研究与应用。
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 21
- **Forks**: 11
- **Created**: 2019-08-08
- **Last Updated**: 2025-01-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

Deep learning for Knowledge-Graph
---
# 探索认知智能系列[趋势：数据＋知识]   
## 包括知识获取、知识库构建、基于知识库的问答系统系列技术研究与应用  
---
## 目录结构
- Algorithm-code 知识图谱相关算法实现  
- datasets 相关数据集  
- my summary 主要以PPT总结  
- NLP&KG基础 自然语言处理与知识图谱基础知识，主要包括词表示、构建等。  
- SmartInteraction 主要涉及对话系统的实践。是一个长期的规划。  
- 认知科学 主要扩展知识了解  
- 事理图谱 以事件为中心进行图谱建立  
- 文本相似度 主要解决在对话中Query和Answer的匹配  
- 知识存储 主要是知识库的建立  
- 知识构建　主要涉及实体、关系的抽取等  
---
[![](https://img.shields.io/badge/技术集成项目-小智v1.0-brightgreen.svg)](https://github.com/lihanghang/Knowledge-Graph)  
<font color=red size=5>[小智交互平台](./SmartInteraction/)</font>  
--- 
### NLP  
1. [The Illustrated Transformer](https://jalammar.github.io/illustrated-transformer/)  
2. [An Attentive Survey of Attention Models](http://naotu.baidu.com/file/03d4fb82f0c3deec199e61a8d8711b22)  
3. [BERT:Bidirectional Encoder Representations from Transformers](http://naotu.baidu.com/file/83095ddac345831a78c2fd375a33f6e6?token=367ecbf6095b0a9e)  
4. [ERNIE:Enhanced Representation through Knowledge Integration](http://naotu.baidu.com/file/ce7fddcdb9a77417267dc9e1292649fc?token=3883492da71ba7ab)  
5. [ERNIE: Enhanced Language Representation with Informative Entities](http://naotu.baidu.com/file/3d008a634578596748678f832389dfd1?token=0db6712fd8dbe238)  
### 研究总结  
1. [知识图谱综述](http://naotu.baidu.com/file/cffcb478adf07522b64eddb8914c0884?token=01df87c5af357993)   
2. [知识图谱的挑战](http://naotu.baidu.com/file/9e3257e54c15c6607fa9d5d40111e1bc?token=d8acd3739ba44f6b)  
3. [深度学习与知识图谱](http://naotu.baidu.com/file/c1e3580697d86dcb29797c068b7a1679?token=76a20c7f80d0137b)  
4. [CN-DBpedia: A Never-Ending Chinese Knowledge Extraction System](http://naotu.baidu.com/file/a5cf40aae93fe42373e8700dc8d999c8?token=bd54a903100040e8)  
5. [KBQA](http://naotu.baidu.com/file/5c17a01de73d972501d8b3cd187908cb?token=b9a47b442d527efe)  
6. [赵汀阳：人工智能的自我意识何以可能？1-3](http://m.aisixiang.com/data/114807.html)
7. [**NLP University 开张大吉**](http://blog.sciencenet.cn/blog-362400-944348.html)--李维老师，Simon Fraser University，博士  
#### 知识图谱相关会议
| 编号        | 名称    | 等级    | 类型| 领域|
| :--------:   | :-----  | :-----  |:-----  |:-----  |
| 1          | ACL     | A类 |  学术会议|人工智能|
| 2          | CVPR    | A类 |  学术会议|人工智能|
| 3          |ICML     | A类 |  学术会议|人工智能|
| 4          | IJCAI   | A类 |  学术会议|人工智能|
| 5          |EMNLP    | B类 |  学术会议|人工智能|
|6           |CIKM     | B类 |  学术会议|数据库／数据挖掘／内容检索|
|7           |AAAI     | A类 |  学术会议|人工智能|
|8           |SIGKDD   | A类 |  学术会议|数据库／数据挖掘／内容检索|
|9           |TKDE     | A类 |  学术期刊|(数据库/数据挖掘/内容检索)|
|10          |SIGIR    | A类 |  学术会议|数据库／数据挖掘／内容检索|
#### 事理图谱  
1. [事理图谱综述](http://naotu.baidu.com/file/528dabd616383f39971be09020fc9cab?token=1d18d940bf63ea42)
2. [白硕：事理图谱六问六答](https://mp.weixin.qq.com/s/offqg1kuI49B16D-P5QVZw)  


#### 对话系统技术 
1. [CSDN|公开课笔记：一文详解启发式对话中的知识管理_aispeech](http://www.aispeech.com/index.php?m=content&c=index&a=show&catid=22&id=339)
2. [对话系统综述](http://naotu.baidu.com/file/59a5b3a1573467a8fcdde3e0c7c19066?token=0d854a82f9c88916)
3. [对话系统中的口语理解技术(SLU)](http://wemedia.ifeng.com/92890282/wemedia.shtml)  

#### 关于NLP/对话/KG的商业化相关（仅供交流学习）
1. [语音交互中的自然语言处理技术](./NLP&KG基础/ccksslides2013-2018/2017/CCKS交流-语音交互中的自然语言处理技术.pdf)－－xiaomi
2. [精益知识图谱方法论](./NLP&KG基础/ccksslides2013-2018/2016/鲍捷-精益知识图谱方法论.pdf)--文因互联
3. [小i机器人在中文语义开放平台的研究与进展](./NLP&KG基础/ccksslides2013-2018/2016/陈培华-小i机器人在中文语义开放平台的研究与进展.pdf)--小ｉ机器人
4. [科大讯飞-从应用角度来看知识图谱的价值和挑战](./NLP&KG基础/ccksslides2013-2018/2014/科大讯飞-从应用角度来看知识图谱的价值和挑战.pdf)--科大讯飞

---
#### 主流开源的问答&&对话系统列表
| 编号        | 名称    |  地址  |
| --------   | -----:  | :----:     |
| 1          | [questionAnsweringsystem](https://github.com/ysc/QuestionAnsweringSystem)     |   QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。|
| 2          | [QABasedOnMedicaKnowledgeGraph](https://github.com/liuhuanyong/QASystemOnMedicalKG)  | 从无到有搭建一个以疾病为中心的一定规模医药领域知识图谱，并以该知识图谱完成自动问答与分析服务。python    |
| 3          | [DeepPavlov](https://github.com/deepmipt/DeepPavlov) | An open source library for deep learning end-to-end dialog systems and chatbots.  python|



#### 主流语义平台列表
| 编号        | 名称    | 
| --------   | -----:  | 
| 1          | [腾讯文智中文语义平台](http://nlp.qq.com/)     |  
| 2          | [科大讯飞开放语义平台](http://osp.voicecloud.cn/index.html)  | 
| 3          | [玻森中文语义开放平台](http://bosonnlp.com/) | 
| 4          | [哈工大语言云](http://ltp.ai/) | 


#### 中英文文本预处理工具列表
| 编号        | 名称    |  主要功能  |
| --------   | -----:  | :----:     |
| 1          | THULAC  |中文词法分析工具，支持C++/JAVA/Python by清华|
| 2          |  LTP      | 语言技术平台 pylyp LTP的Python封装 by 哈工大|
| 3          |   HanLP   | 支持Java|
| 4          |   结巴分词   | 中文分词（仅支持分词），Java、python、C++|
| 5          |   jiagu   | 提供中文分词、词性标注、命名实体识别、关键词抽取、文本摘要、新词发现等常用自然语言处理功能。Python|
| 6          |   fudanNLP   |中文分词（分词、词性标注、命名实体识别）， 支持Java|
| 7          |   deepdive   |斯坦福大学的开源知识抽取工具（三元组抽取）， 支持python|
| 8          |   FudanDNN-NLP3.0   |用于中文分词、命名识别、词性标注、句子分类、语义分析、知识库访问、对话问答,支持Java----复旦大学计算机学院机器人研究实验室所开发的基于深度学习的中文自然语言处理工具|
| 9          |   Stanford CoreNLP   |可进行多语言的词性标注器、命名实体的识别器、解析器（句子与语法结构）、指代消解器（就是在篇章中确定代词指向哪个名词短语的问题）、情感分析器、   引导模式学习器、开放信息提取器， Java/Python----- Stanford CoreNLP是斯坦福大学的自然语言处理工具包,工具包需要java的支持|


#### 图存储与查询工具
| 编号        | 名称    |  主要功能  |
| --------   | -----:  | :----:     |
| 1          | [Neo4j](https://www.w3cschool.cn/neo4j/)  |开源图形数据库，由Java开发。|
| 2          | [OrientDB](https://www.w3cschool.cn/orientdb/)     | 开源的noSQL数据库，可处理文档、图形、传统数据库组件。由Java编写，存储速度快。|
| 3          | [Virtuoso](https://shop.openlinksw.com/license_generator/virtuoso-download/)  | 支持RDF与SPARQL查询。|
| 4          | [Titan](https://blog.csdn.net/albg_boy/article/details/78439051)   | 可与Gremlin/Hbase进行集成，可实现分布式存储和计算的图数据处理。|
| 5          | [Apache Jena-IDB ](https://blog.csdn.net/svenhuayuncheng/article/details/78751300)   | 在JAVA下操作RDF。其中TDB是使用triple store的形式对RDF数据提供持久性存储（persistent store），TDB相比RDB、SDB更快且具有扩展性。|
| 6          | [Cypher](https://neo4j.com/docs/developer-manual/3.4/cypher/)   |声明式图查询语言，表达高效查询和更新图数据库。|
| 7          | [Gremlin](http://tinkerpop.apache.org/)   |一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。|
| 8          |　[SPARQL](https://www.w3.org/TR/sparql11-query/) |为RDF开发的一种查询语言和数据获取协议。|  
| 9          |　[rdflib](https://rdflib.readthedocs.io/en/stable/) |基于Python语言编写的，RDF / XML，N3，NTriples，N-Quads，Turtle，TriX，RDFa和Microdata的解析器和序列化器，支持SPARQL 1.1查询和更新语句。|  


#### 可视化工具
| 编号        | 名称    |  主要功能  |
| --------   | -----:  | :----:     |
| 1          | ECharts  |百度开源工具，API封装完善，简单好用，易上手，但不支持事件处理。|
| 2          | Cytoscape.js    | 针对图形和网络，事件交互性的支持不错，同样易上手。|
| 3          | D3.js  | 使用门槛较高，但支持事件处理器，D3的开销极小，支持大型数据集和交互动画的动态行为，支持图形丰富。|

#### 中英文知识图谱数据集列表
| 编号        | 名称    |  应用任务  |
| --------   | -----:  | :----:     |
| 1          | [OpenKG](http://www.openkg.cn/ )      |  开放知识图谱          |
| 2          | [CN-Probase](http://openkg.cn/dataset/cndbpedia)  |大规模中文概念图谱            |
| 3          | [SentiBridge](https://github.com/rainarch/SentiBridge/ ) | 中文实体情感知识库，刻画人们如何描述某个实体，包含新闻、旅游、餐饮，共计30万对|
| 4          | [音乐知识图谱](http://www.openkg.cn/dataset/music ) | 中文音乐知识图谱，歌手、歌曲等信息|
| 5          | [人物类RDF知识](http://www.openkg.cn/dataset/rdf/resource/08fdd9ee-6d98-4efc-a8ff-e58ab7a9d3ac) | 采集自百科网站的人物类知识，共65万个RDF三元组|
| 6          | [中国旅游景点知识图谱](http://www.openkg.cn/dataset/tourist-attraction/resource/dbed4401-a870-4118-95a5-edaccc968ae6 ) | 中国旅游景点中文知识图谱是CASIA-KB知识图谱的一部分。抽取自百度百科和互动百科。旅游景点知识图谱可用于地理、生活、娱乐等应用。|
| 7          | [200万条商品画像数据](http://www.openkg.cn/dataset/200/resource/33d459e5-f686-4855-af18-d1c9fa5b572f) | 本数据是百分点在7年运营过程中积累的产品画像数据的小结，百分点自建了丰富的电商品分类体系和媒体分类体系。|
| 8          | [中文症状库](http://www.openkg.cn/dataset/symptom-in-chinese/resource/302dc775-8e4d-41fb-954e-260ce8037cbc) | 这是一个包含症状实体和症状相关三元组的数据集。中文症状库的数据来自8个主流的健康咨询网站、3个中文百科网站和电子病历。|
| 9          | [cnSchema机场知识图谱](http://openkg1.oss-cn-beijing.aliyuncs.com/2a2b80c5-6d50-40f8-a48b-7b832f0026c1/airportcnschema.json) | 基于cnSchema的机场知识图谱可查询世界各机场的属性，包含名称、时区、机场代码、地理位置（经纬度）等。|
| 10          | [七律-通用知识图谱](http://openkg.cn/dataset/7lore/resource/30ee798a-3199-4de4-9792-7746bc8891e0) | 本数据共包含8000万条百科三元组，为七律的一部分子集，后续将持续加大开放。七律-7Lore，是狗尾草科技精心打造的百科知识图谱，是人类世界海量知识的集合，它包含了事物、事实、概念、规则等等。|
--- 

#### 比赛
1. ATEC蚂蚁开发者大赛之学习赛--NLP之问题[相似度计算](https://github.com/lihanghang/Knowledge-Graph/tree/master/Algorithm-code/Text-Similarity)--2019-3  
2. 百度2019语言与智能技术竞赛之第二赛道--[知识驱动对话](https://github.com/lihanghang/Knowledge-driven-dialogue)--2019-4  
3. SMP2019中文人机对话技术评测（ECDT）,子任务：**领域分类、意图识别和语义槽填充**--[Task1:自然语言理解评测](https://mp.weixin.qq.com/s?__biz=MzIxMjAzNDY5Mg==&mid=2650794638&idx=1&sn=bbba4f2c4b62ccc1bef59d8f12b2c56f&chksm=8f477f65b830f673c76cd1907b4a044a5390bd7f0a6ca28d8bde2dcacd47c57207ffc8e59643&mpshare=1&scene=1&srcid=#rd)--2019-5  
---
#### 思考
- 知识图谱的构建是一个体系化的工程项目，目前结合深度学习技术以及自然语言处理知识在一定程度上提升了构建的效率并降低了成本。知识图谱的地位在认知智能是一个基础资源设施，基于此可以进行问答、对话、、推荐系统、可解释性的增强等方面的应用。  
- 目前对于垂直领域的知识图谱构建需求较多。应用方面在智能问答和主动式对话系统的实践是比较热点的方向。
- 个人觉得一套爬虫系统可以为知识库提供动态更新的知识来源。
- 结合知识/常识的对话系统，更具准确性和多样性，是一个值得研究的方向，可让机器引导用户进行话题的交流。如上面比赛２就是这一方向的应用。　　
- <strong>自然语言处理/理解目前门槛已经高升到了BERT啦,在绝大数任务中基本都是必提的，基于Transformer做编码器！如何在模型训练中融入知识（可以是多模态）已是目前研究的热点方向，如百度最近提出的ERNIE表示模型就引入这一思想，也在下游任务中取得了不错的效果。</strong>  
- 知识图谱的表示研究问题（Knowledge Graph Embedding, KGE)是当前的一个研究热点。  
---
#### <strong>说明<strong>
- 以上内容均为个人在学习过程的相关整理（包含互联网内容、个人整理笔记等），希望对研究学习认知智能领域的小伙伴有帮助。  

---
###
- [CSDN](https://blog.csdn.net/lihangll)  
- [个人网站](https://lihanghang.top/)  
- 邮箱：lyhunters@gmail.com  
- Updated on July 30,2019.