[转]文本相似性算法：simhash/minhash/余弦算法

? ? ? ?最近因为事变项目，必要判定两个txt文本是否相似，于是开始在网上找资料研究，由于在措施中会把文本转换成String再做较量，以是最开始找到了这篇关于?间隔编辑算法?Blog写的很是好，受益匪浅。

????? ?于是我抉择把它用到项目中，来判定两个文本的相似度。但其后现实操纵发明有一些题目：直接说就是查询一本书中的相似章节花了我7、8分钟；这是我不能接管……

????? ?于是停下来细心说明发明，这种算法在此项目中不是出格合用，因为要判定一本书中是否有沟通章节，以是每两个章节之间都要较量，若一本书书有x章的话，这里需比拟x(x-1)/2次；而此算法回收矩阵的方法，计较两个字符串之间的变革步调，会遍历两个文本中的每一个字符两两较量，可以揣度出时刻伟大度至少为?document1.length × document2.length，我所较量的章节字数均匀在几千～一万字；这样计较其实要了老命。

????? ?想到Lucene中的评分机制，也是算一个相似度的题目，不外它回收的是计较向量间的夹角（余弦公式），在google黑板报中的：数学之美（余弦定理和消息分类）?也有声名，可以通过余弦定理来判定相似度；于是抉择本身下手试试。

????? ?宰衡选择向量的模子：在以字为向量照旧以词为向量的题目上，纠结了一会；其后照旧认为用字，固然词更为精确，但分词却必要增进特另外伟大度，而且此项目要求速率，精确率可以放低，于是照旧选择字为向量。

????? ?然后每个字在章节中呈现的次数，即是以此字向量的值。此刻我们假设：

????? ?章节1中呈现的字为：Z1c1,Z1c2,Z1c3,Z1c4……Z1cn；它们在章节中的个数为：Z1n1,Z1n2,Z1n3……Z1nm；

???????章节2中呈现的字为：Z2c1,Z2c2,Z2c3,Z2c4……Z2cn；它们在章节中的个数为：Z2n1,Z2n2,Z2n3……Z2nm；

????? ?个中，Z1c1和Z2c1暗示两个文本中统一个字，Z1n1和Z2n1是它们别离对应的个数，

???????最后我们的相似度可以这么计较：

????? ?措施实现如下：（如有可优化或更好的实现请不惜见教）

public class CosineSimilarAlgorithm {
	public static double getSimilarity(String doc1,String doc2) {
		if (doc1 != null && doc1.trim().length() > 0 && doc2 != null
				&& doc2.trim().length() > 0) {
			
			Map<Integer,int[]> AlgorithmMap = new HashMap<Integer,int[]>();
			
			//将两个字符串中的中笔墨符以及呈现的总数封装到，AlgorithmMap中
			for (int i = 0; i < doc1.length(); i++) {
				char d1 = doc1.charAt(i);
				if(isHanZi(d1)){
					int charIndex = getGB2312Id(d1);
					if(charIndex != -1){
						int[] fq = AlgorithmMap.get(charIndex);
						if(fq != null && fq.length == 2){
							fq[0]++;
						}else {
							fq = new int[2];
							fq[0] = 1;
							fq[1] = 0;
							AlgorithmMap.put(charIndex,fq);
						}
					}
				}
			}

			for (int i = 0; i < doc2.length(); i++) {
				char d2 = doc2.charAt(i);
				if(isHanZi(d2)){
					int charIndex = getGB2312Id(d2);
					if(charIndex != -1){
						int[] fq = AlgorithmMap.get(charIndex);
						if(fq != null && fq.length == 2){
							fq[1]++;
						}else {
							fq = new int[2];
							fq[0] = 0;
							fq[1] = 1;
							AlgorithmMap.put(charIndex,fq);
						}
					}
				}
			}
			
			Iterator<Integer> iterator = AlgorithmMap.keySet().iterator();
			double sqdoc1 = 0;
			double sqdoc2 = 0;
			double denominator = 0; 
			while(iterator.hasNext()){
				int[] c = AlgorithmMap.get(iterator.next());
				denominator += c[0]*c[1];
				sqdoc1 += c[0]*c[0];
				sqdoc2 += c[1]*c[1];
			}
			
			return denominator / Math.sqrt(sqdoc1*sqdoc2);
		} else {
			throw new NullPointerException(
					" the Document is null or have not cahrs!!");
		}
	}

	public static boolean isHanZi(char ch) {
		// 判定是否汉字
		return (ch >= 0x4E00 && ch <= 0x9FA5);

	}

	/**
	 * 按照输入的Unicode字符，获取它的GB2312编码可能ascii编码，
	 * 
	 * @param ch
	 *            输入的GB2312中笔墨符可能ASCII字符(128个)
	 * @return ch在GB2312中的位置，-1暗示该字符不熟悉
	 */
	public static short getGB2312Id(char ch) {
		try {
			byte[] buffer = Character.toString(ch).getBytes("GB2312");
			if (buffer.length != 2) {
				// 正常环境下buffer应该是两个字节，不然声名ch不属于GB2312编码，故返回'?'，此时声名不熟悉该字符
				return -1;
			}
			int b0 = (int) (buffer[0] & 0x0FF) - 161; // 编码从A1开始，因此减去0xA1=161
			int b1 = (int) (buffer[1] & 0x0FF) - 161; // 第一个字符和最后一个字符没有汉字，因此每个区只收16*6-2=94个汉字
			return (short) (b0 * 94 + b1);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		return -1;
	}
}

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!