一、CICADA知识搜索引擎的产生背景

·企业知识迅猛增长，总量超过互联网数据总量

　　根据统计，企业数据每年以200%的速度增长，其中80%以上的数据以文件、邮件、图片等非结构化数据存放在企业内计算机系统中的各个角落。而且这些数据总量远远超过了互联网信息的总量。有数字表明，企业发布到互联网的信息只占到信息量的1%-2%，而98%以上的信息是存储在企业内部的。

·仅靠网络搜索不能解决全部问题

　　互联网搜索引擎近年来获得快速发展，以及其覆盖互联网人口面积的迅速扩张，使得我们一提起搜索引擎就想到了百度、谷歌这样的互联网搜索引擎，有什么疑难问题在互联网上就可以找到答案。然而，实际上互联网搜索引擎不能解决全部的问题，如企业内部的规章制度、项目文档、工作经验等，作为企业的知识财富，是不可能通过互联网获得完美答案的。

·获取准确的知识成为提升企业核心能力的要件

　　企业或组织经过多年的运作，积累了大量的运营、工作、生产、研发的经验与知识，这些信息内容散落在企业的各个服务器、IT系统，甚至个人的电脑中，这些宝贵的知识财富日益成为指导企业员工行动、减少操作失误、提升工作效率、降低运营成本的重要依托，如何快速、准确的让员工获得工作所需知识，已经成为企业是否能够建立快速响应机制、快捷低成本运作的重要一环。

·CICADA知识搜索引擎应运而生

　　知识搜索引擎（Knowledge search engine）并非单纯的是一种搜索工具，它首先是知识管理的一种实现理念与工具，承担了“知识汇聚、知识发现、知识分类、知识聚类、知识门户的构建”，通过搜索引擎技术完成知识管理的使命。知识搜索引擎、知识分类体系、知识专家网络共同构成了当今世界上先进知识管理系统的主要内涵。
　　知识搜索是在搜索引擎发展进入智能化阶段的过程，是建立在明确的知识来源基础上，根据明确的用户身份与诉求，回馈恰当知识结果的搜索引擎，更为强调知识的准确、标准，强调通过互动机制如评价、交流、修改、维护等进行搜索结果的自我学习，以达到知识搜索的智能化。
　　深蓝海域在知识管理和知识管理技术领域拥有多年积累，依据知识管理理念推出的知识搜索引擎正是为了解决“汇聚多类知识源，依据用户身份与诉求，回馈准确知识，指导用户行动”这一命题而生，知识搜索引擎作为搜索引擎的一个分支，在为企业提供准确知识获取方面将起到不可或缺的作用。

CICADA的搜索流程示意图

·可维护、学习式分词技术

　　与英文的自然分词不同，中文分词存在着众所周知的难度，把中文的句子切分成有意义的词，就是中文分词，也称切词。目前还是一个难题———对于需要上下文区别的词以及新词（人名、地名等）很难完美的划分。国际上将同样存在分词问题的中国、日本和韩国并称为CJK(Chinese Japanese Korean)。分词机制的好坏，直接影响到用户对搜索结果的满意度，所以如何分词是搜索引擎的重中之重。
　　到目前为止，中文分词包括三种方法：1）基于字符串匹配的分词；2）基于理解的分词；3）基于统计的分词。以下是三种分词方法的比较：

　　Cicada知识搜索引擎系统采用“Cicada's wings knife”作为分词器，取其分词快捷、细致之意。这套分词系统采用了“基于字符串匹配分词和统计分词”相结合的方式。利用统计方法进行词典的动态扩展，即对搜索的词汇频率进行自主的阀值设置，对于超过阀值的词汇自动加入学习词库，从而克服了基于词典算法对"完全词典"的依赖，利用词典对统计的一些参数进行学习评估，避免了以往靠实验得到这些参数的不确定性,同时将RMM算法与统计算法结合起来。除了通过自主学习获得新词以外，也可以通过手工维护的方式对专业词库进行维护。目前，Cicada的基本分词词库已经达到50万条，金融、税务、制造、咨询等专业词库达到了20万条左右。
　　与目前流行的算法相比，Cicada's wings knife分词器在准确率，召回率，分词效率综合平衡上有明显优势。具体对比如下。

基于CICADA的企业(知识)门户示意图