页面树结构

2017-11-09 ApacheCN 开源组织,第二期邀请成员活动,一起走的更远 : http://www.apachecn.org/member/209.html


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

 

thai tokenizer(泰语分词器) 将泰文文本分成单词,使用的是 java 的泰语分割算法。文本中的其他语言按照 standard tokenizer 处理。

注意

不是所有的 JRE 都支持这个分词器,目前已知在 Sun/Oracle 和 OpenJDK 运行正常。 如果您的应用程序需要完全可移植,可考虑使用 ICU Tokenizer 来代替。

输出示例

POST _analyze
{
  "tokenizer": "thai",
  "text": "การที่ได้ต้องแสดงว่างานดี"
}

上面的句子会生成如下的词元:

[ การ, ที่, ได้, ต้อง, แสดง, ว่า, งาน, ดี ]


配置

thai tokenizer(泰语分词器)不支持配置。

  • 无标签