西西河

主题:中国文明只有63岁——《大目标》后记 修正技术错误 -- 马前卒

共:💬216 🌺1256 🌵22
全看分页树展 · 主题 跟帖
家园 这不光是老外学中文的痛苦

也是计算机的痛苦,由于中文字符之间没有空格,不像西方语言中词之间天然的空格分割,所以tokenization是一个问题(当然有不少成熟软件可以做这个尽管不是十全十美)。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河