您的位置首页百科问答

排重匹配算法?

排重匹配算法?

逆向最大匹配法通常简称为RMM法。RMM法的基本原理与MM法相同 ,不同的是分词切分的方向与MM法相反,而且使用的分词辞典也不同。逆向最大匹配法从被处理文档的末端开始匹配扫描,每次取最末端的2i个 字符(i字字串)作为匹配字段,若匹配失败,则去掉匹配字段最前面的一个字,继续匹配。相应地,它使用的分词词典是逆序词典,其中的每个词条都将按逆序方式存放。在实际处理时,先将文档进行倒排处理,生成逆序文档。然后,根据逆序词典,对逆序文档用正向最大匹配法处理即可。

例子:’我一个人吃饭’

反向最大匹配方式,最大长度为5

个人吃饭

人吃饭

吃饭 ====》得到一个词– 吃饭

我一个人

一个人

个人 ====》得到一个词– 个人

我一

一 ====》得到一个词– 一

我 ====》得到一个词– 我

最后反向最大匹配的结果是:

/我/一/个人/吃饭/

正向最大匹配算法:从左到右将待分词文本中的几个连续字符与词表匹配,如果匹配上,则切分出一个词。但这里有一个问题:要做到最大匹配,并不是第一次匹配到就可以切分的。我们来举个例子:

待分词文本: content[]={"中","华","民","族","从","此","站","起","来","了","。"}

词表: dict[]={"中华", "中华民族" , "从此","站起来"}

(1) 从content开始,当扫描到content的时候,发现"中华"已经在词表dict[]中了。但还不能切分出来,因为我们不知道后面的词语能不能组成更长的词(最大匹配)。

(2) 继续扫描content,发现"中华民"并不是dict[]中的词。但是我们还不能确定是否前面找到的"中华"已经是最大的词了。因为"中华民"是dict的前缀。

(3) 扫描content,发现"中华民族"是dict[]中的词。继续扫描下去:

(4) 当扫描content的时候,发现"中华民族从"并不是词表中的词,也不是词的前缀。因此可以切分出前面最大的词——"中华民族"。

由此可见,最大匹配出的词必须保证下一个扫描不是词表中的词或词的 前缀才可以结束。