网易视频云：搜索意图识别浅析.doc

网易视频云：搜索意图识别浅析.doc:..网易视频云:搜索意图识别浅析网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教冇、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在,网易视频云与大家分享一下搜索意图识别浅析。对于搜索引擎來讲,很多情况下只需要用户在搜索输入框内输入所需要査询的内容就可以了,其余的事情就全部交给搜索引擎去处理。理想的情况下,搜索引象会优先返回用户想要的结果。理想很丰满,但总会存在一些骨感的现实,用户通过搜索无法找到授想耍的结果。如果应用中压根不存在用户搜索的内容,倒还可以理解。反之的话,就是一个大写的尴尬。本文主要谈论和解决的是令人尴尬的问题。为什么会歸不到1、 不同的用户对同一种诉求的表达往往是冇差别的,往往会存在-•种比较常见的现象,用户输入的query并不能清晰准确的表达需求。2、 搜索系统对用户query的理解能力较弱,无法挖掘出用户的真实需求。3、 召回结果集的排序不合理,可能用户需求的内容被排在后面而未曝光。以上儿点大概是用户无法找到需求内容的主耍原因,木文主要讨论的是前两点,主要是想解决如何更好的理解用户的需求并进行准确的召回,进而对第三点所涉及到的排序起到积极作用。用户作为一个使用主体,其知识水平和表达能力会有差界,当不同用户想搜索同一个商品时所输入的query会存在差别,具体如下所示:澳佳宝blackmores蔓越;痛经;圣洁;圣洁莓精华;澳洲佳宝;泌尿系统感染;blackmores澳佳宝;澳大利亚blackmores;蔓越莓澳佳宝;女性保养;蔓越莓;绝经;蔓月莓;blackmores圣洁莓;月蔓;裸版胶囊;;女人;澳洲;月经;蔓越莓胶囊澳洲;胶囊;女士痛经;蔓越梅胶囊;澳佳美;妇右炎症;blackmore;卵巢囊;澳^Hblackmores女性;宫颈;女性美容;澳隹宗至洁莓;妇禾斗保养;内分泌;manyuemei;谪理月经;美少女;越曼莓;澳洲blackmores澳佳宝;女士宝;思瑞;澳洲的蔓越®;blackmores蔓越莓;子宫;女性妇科;子宫保养;圣莓洁;羊胎素胶囊;澳洲杜虫;蔓越莓精华胶囊;blackmore蔓越莓;美国自然之宝蔓越莓;蔓越莓精华;女宫;保护子宫;奥佳宝;blacksmore;痛经少女;泌尿;女人妇科;佳宝;blackmores圣洁;曼越梅;女生内分泌;圣洁38;澳佳;蔓越莓肢靈;炎症;蔓越酶;蔓越;妇科;b"ckmores圣洁莓精华;莓;月洁莓;蔓越梅;澳洲蔓越莓;澳洲奥佳宝;可见,对丁•同一个商品往往会对应不同的query,和对粹确的有“蔓越莓胶囊欧洲”、“blackmore蔓越痒';品牌优先的有“blackMores”;功效优先的有“女士痛经”,”泌尿系统感染”;输入错误的有”蔓越梅”,输入别名的有”圣洁莓”;输入较模糊的有“妇科”,“炎症”。所以说用户的输入一般会存在表达差异,词汇差异,需求明确性差异等。要想解决这些问题就需要通过用户输入的query來获取用户的真实需求,木文把对用户输入的理解称为QueryParser,包含:query切分(分词),qu