云平台推荐算法应用研究.pdf

分类号: 密级: 论文编号: 学号: 重庆理工大学硕士学位论文云平台推荐算法研究研究生: 程昌正指导教师: 刘全利教授学科专业: 计算机应用技术研究方向: 机器学习培养单位: 计算机科学与工程学院论文完成时间: 2014年3月24日论文答辩日期: 2014年5月30日万方数据 II CategoryNumber: LevelofSecrecy: SerialNumber: StudentNumber: 50110812314 Master's Dissertation of Chongqing Universityof Technology Research of mender Algorithm on Cloud Platform Postgraduate: Cheng ChangZheng Supervisor: Prof. Liu QuanLi Specialty: Computer Applied Technology Research Direction: Machine Learning Training Unit: College puter Science and Engineering Thesis Deadline: March24, 2014 Oral Defense Date: May 30, 2014 万方数据重庆理工大学学位论文原创性声明本人郑重声明:所呈交的学位论文是本人在导师的指导下,独立进行研究所取得的成果。除文中特别加以标注引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写的成果、作品。对本文的研究做出重要贡献的集体和个人,均已在文中以明确方式标明。本人承担本声明的法律后果。作者签名: 日期: 年月日学位论文使用授权声明本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权重庆理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于(请在以下相应方框内打“√”): □,在年解密后适用本授权书。 □。作者签名: 日期: 年月日导师签名: 日期: 年月日万方数据摘要 I 摘要随着信息技术的迅猛发展,信息爆炸使得人们越来越难以从大量内容中找到需要的信息。为解决信息过载问题,学术界及业界都进行了各种探索。推荐系统便是新兴的被发展用来减轻用户筛选负担、为用户提供个性化内容推荐的有力工具。目前,推荐系统已是各种互联网应用的重要组成部分。另外,随着数据和用户的不断增加,推荐系统面临着分析海量数据和生成精确推荐的双重挑战。 Hadoop是一种主流的云计算平台,它为大数据的存储和并行处理提供了便利。其MapReduce编程框架是大规模机器学习的重要工具。机器学习是一门对数据构建概率模型并运用模型和统计学方法对数据进行分析与预测的学科。这些新兴技术的出现为设计推荐系统提供了新的思路。论文以Hadoop为技术背景,对分布式并行计算做了研究,同时运用机器学习的有关理论和算法,围绕推荐问题展开如下三方面的工作:第一,分析推荐领域的经典算法、相关技术以及它们在扩展性上遇到的困难;第二,提出一种基于线性回归模型的特征学习算法,该算法能从用户对产品的历史评分中获得产品属性和用户属性的特征向量,进而用它们预测未知评分,产生推荐;第三,由于特征学习推荐算法需要对每个产品和用户单独建立高维特征向量,因此随着产品和用户的增加,算法将需要训练数以亿计的参数,本文引入 MapReduce技术,在Hadoop平台上对算法做并行化改进。本文提出的特征学习算法应用在MovieLens数据集上时,相比较传统基于相似度的协同过滤算法预测精度更高,表明使用用户特征向量和内容特征向量作线性拟合,是产生评分预测的有效方法。随着特征向量维度的增加,预测结果总体愈加精确。在Hadoop平台上,重新设计的数据集格式可以配合MapReduce计算框架,验证了算法在云平台上进行并行计算的可行性,从而使算法在处理大数据时将得到效率提升。关键词:推荐系统;特征学习;协同过滤;云计算; MapReduce; 万方数据 II 万方数据 Abstract III Abstract With the rapid development of information technology, the explosive growth of data is notmakingpeople any easier tofind the information th