英文词组识别提取

想法来源于在做关键词提取时遇到的一个问题 英文分词时通常是通过空格进行分割,如Hello World会被拆分hello和world,但实际上我需要提取hello world 整个词 google时找到一个RAKE算法,是针对关键词提取算法的,网上评论还是不错,但由于这边实际情况存在中英混合和大量的专业词汇,而且大多数情况下并不是一个句子,所以效果不是那么好,如果是全英文文档应该会好得多,所

- 阅读全文 -

php实现BMM分词算法

BMM算法,逆向最大匹配法(backward maximum matching method, BMM),和FMM一样,都是基于词表的分词方法。与FMM不同的是,BMM是对于一段文本从右至左进行扫描,利用词典里面的词汇切分出长度最长的词,也就是说文本扫描的方式刚好与FMM相反。分词效果相对FMM来说,BMM算法更好。以下是简单实现<?php class BMM { //简单定义一

- 阅读全文 -

php实现FMM分词算法

FMM算法,即正向最大匹配法(forward maximum matching method, FMM),是基于词表的分词方法。对于一段文本从左至右进行扫描,利用词典里面的词汇切分出长度最长的词,单词的颗粒度越大,所能表示的含义越确切。以下简单实现<?php class FMM { //简单定义一个词典数组 private $dict = []; private $

- 阅读全文 -

centos 搭建keycloak

之前在本地搭建keycloak可是相当简单快速,解压然后配置外网访问一下即可,万万没想到在部署在服务器时出现诸多问题系统: centos 7keycloak:10.0.2 OpenJDK安装目录:/opt/keycloak-10.0.2cd /opt wget https://downloads.jboss.org/keycloak/10.0.2/keycloak-10.0.2.zip u

- 阅读全文 -