# sentence-similarity
**Repository Path**: zhou_long_yang/sentence-similarity
## Basic Information
- **Project Name**: sentence-similarity
- **Description**: 对四种句子/文本相似度计算方法进行实验与比较
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No
## Statistics
- **Stars**: 0
- **Forks**: 1
- **Created**: 2020-04-29
- **Last Updated**: 2020-12-19
## Categories & Tags
**Categories**: Uncategorized
**Tags**: None
## README
# sentence-similarity
对四种句子/文本相似度计算方法进行实验与比较；
四种方法为:cosine,cosine+idf,bm25,jaccard；
本实验仍然利用之前抓取的医疗语料库；
1 环境
=
python3
gensim
jieba
scipy
numpy
2 算法原理
=
3 运行步骤
=
setp1:先利用word2vec对./data/file_corpus进行词向量训练(python train_word2vec.py)，生成voc.txt词向量文件
setp2:对训练出来的词，计算其在语料库中idf词(python compute_idf.py),生成idf.txt文件
setp3:统计语料库中存在的句子(python get_sentence.py),生成file_sentece.txt文件;考虑计算量问题，本实验只取了出现频率最高的前10000个句子
setp4：运行python test.py，可对设定好的5个句子，按照不同的算法得出最相似的结果
备注说明：./data/medfw.txt文件是我上个项目find-Chinese-medcial-words在同样语料库找出的词文件，本次作为用户词库参与jieba分词;similarity.py文件为四种算法实现的程序，可以调用，不同的环境下只需重新训练词向量和词的idf矩阵；./data/test_result.txt文件是本实验测试结果。
4 测试结果
=
下面表格是对5个相同的句子进行测试的结果，结果可以看出，cosine+idf方法计算复杂度最大，但效果就我个人来看，此方法相对其他方法结果更精确些；bm25算法对有些句子匹配显得有点偏离，我觉得可能跟调节因子k1，b有关；jaccard方法最为简单，计算也是最快，计算结果带不上语义效果；cosine方法算是最常用方法，它的结果非常依赖Word2vec训练的结果。
