nlp-lang

##MAVEN

<dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

这个项目是一个基本包.封装了大多数nlp项目中常用工具

工具

• √ 词语标准化
• √ tire树结构
• √ 双数组tire树
• √ 文本断句
• √ html标签清理
• √ Viterbi算法增加

组件

• √ 汉字转拼音
• √ 简繁体转换
• √ bloomfilter
• √ 指纹去重
• √ SimHash文章相似度计算
• √ 词共现统计
• √ 基于内存的搜索提示
• √ WordWeight词频统计,词idf统计,词类别相关度统计