体系调研讲演及综述推举体系调研讲演及综述 一、推举体系概述 1.1 什么是推举体系 推举体系 (Recommender System) 得开展曾经阅历了近 20 年得光阴，然而迄今为止仍不人试图对于推举体系给出一个准确得界说。 狭义上得推举体系能够懂得为是自动向用户推举物品 (Item) 得体系，所推举得物品能够是音乐、书本、餐厅、运动、股票、数码产物、消息条款等等，这依赖于详细得利用领域，推举体系所推举得物品或许对于用户有辅助，或许用户可能感兴致 1 。 跟着电子商务规模得一直扩展，商品数目跟品种一直增长，用户对于于检索跟推举提出了更高得要求。因为没有同用户在兴致喜好、存眷领域、小我私家阅历等方面得没有同，以知足没有同用户得没有同推举需求为目标、没有同人能够取得没有同推举为首要特性得共性化推举体系 (Personalized Recommender System) 应运而生 1 。今朝所说得推举体系普通指共性化推举体系。 1.2 推举体系得开展汗青 假如追根溯源，推举体系得初端能够追溯到函数迫近实践、信息检索、预测实践等诸多学科中得一些延长研讨。 推举体系成为一个绝对自力得研讨方向普通被以为始自 1994 年明尼苏达大学 GroupLens 研 究组推出得 GroupLens 体系 2 。该体系有两大首要奉献：一是初次提出了基于协同过滤 (Collaborative Filtering) 来实现推举义务得思惟，二是为推举问题树立了一个情势化得模子 ( 见 1.4) 。基于该模子得协同过滤推举引领了之后推举体系在从此十多少年得开展方向。 GroupLens 所提出得推举算法实际上便是今朝人们时常说起得基于用户得协同过滤推举算法 (User-based Collaborative Filtering Algorithms) ，虽然论文自身并不使用这样一个名字。在之后得十多少年中，其它一些有名得协同过滤算法逐步被提出，次要得有基于物品得协同过滤算法 (Item-based Collaborative Filtering Algorithms)3 ， 基 于 矩 阵 分 解 得 协 同 过 滤 算 法 (SVD-based/NMF-based, etc.) 等等。当然，基于其它法子而非协同过滤得推举算法也在一直地开展，这些法子之间得互补、交融也成为一个首要得研讨方向，这些会在本文第二局部 ( 推举法子得分类 ) 跟第三局部 ( 典范推举算法概述及优毛病 ) 中具体论述。 今朝，推举算法曾经曾经被普遍集成到了良多贸易利用体系中，比拟有名得有 Netflix 在线视频推举体系、 Amazon 网络购物商城等。实际上，大少数得电子商务平台尤其是网络购物平台，都没有同水平地集成了推举算法，如淘宝、京东商城等。Amazon 宣布得数据显示，亚马逊网络书城得推举算法为亚马逊每年奉献近三十个百分点得创收。 1.3 推举体系得输入输出 1.3.1 推举体系得输入数据 推举体系可能得输入数据多种多样，然而归结起来能够分为用户 (User) 、物品 (Item) 跟评估 (Review) 三个层面，它们分手对于应于一个矩阵中得行、列、值。 1.3.1.1 物品 (Item) 用来描写一个 Item 得性子，也常常被称为 Item Profile 。依据 item 得没有同， Item Profile 也是没有尽雷同得。好比对于于图书推举， Item Profile 有可能包含图书所属种别、页数、出书光阴、出书商等；对于于消息推举， Item Profile 则有可能是消息得文本内容、要害词、光阴等；而对于于片子，能够是片名、时长、上映光阴、主演、剧情描写等。 1.3.1.2 用户 (User) 用来描写一个用户得共性，也便是 User Profile 。依据没有同得利用场景以及没有同得详细算法， User Profile 可能有没有同得表现方式。 一种直观且容易懂得得表现方式与 Item Profile 相似，好比该用户得性别、春秋、年收入、活泼光阴、地点都会等等。然而在推举体系中，这样得 profile 很难集成到罕见得算法中，也很难与详细得 item 之间树立接洽 ( 好比咱们很难判断某商品必定没有会被某春秋段得人喜欢，这样得断定过于毛糙 ) ，因而这种 User Profile 在推举体系中虽然也常常会被使用，然而很少间接用在推举算法中，而是用于对于推举成果进行过滤跟排序。 因为在良多推举算法中，计算 User Profile 跟 Item Profile 之间得类似度是一个常常会用到得操作，另一种使用更为普遍也更有实际意思得 User Profile 应运而生 4 。它得构造与该体系中得 Item Profile 得构造一样，为了更明白地阐明其构造，咱们以一种典范得构建 User Profile 得法子为例来进行阐明：斟酌该 User 打过火得一切 Item ，将这些 Item 得 Item Profile 得每一项分手进行加权均匀，失去一个综合得 Profile ，作为该用户得 User Profile 。这种 User Profile 得长处长短常容易计算其与 Item 之间得类似度，同时比拟精确地描写了该用户在 Item 上得偏好，巧妙地避开了用户私家信息这一很难取得得数据，存在维护隐衷得才能，进一步，假如参加光阴要素，还能够研讨用户在 Item 上偏好得变动等等，因而遭到普遍利用。 1.3.1.3 评估 (Review) 评估是接洽一个 User 与一个 Item 得纽带，最简略得 Review 是 User 对于某一 Item 得打分 (Rate) ，表现了该 User 对于该 Item 得爱好水平。在罕见得推举算法中，这是一个 15 得整数。当然，用户对于物品或信息得偏好，依据利用自身得没有同，还可能包括良多没有同得信息，好比用户对于商品得评论文本、用户得查看汗青记载、用户得购置记载等，这些信息总体上能够分为两类：一是显式得用户反馈，这是用户对于商品或信息给出得显式反馈信息，评分、评论属于该类；另一类是隐式得用户反馈，这类普通是用户在使用网站得进程中发生得数据，它们也反映了用户对于物品得爱好，好比用户查看了某物品得信息，用户在某一页面上得停留光阴等等。 虽然今朝大少数得推举算法往往都是基于用户评分矩阵 (the Rating Matrix) 得，然而基于用户评论、用户隐式反馈数据得法子来实现推举越来越遭到人们得存眷，这些方面得研讨恒久以来遭到文本发掘、用户数据搜集等方面得难点得制约，不失去充足得研讨，然而它们在解决推举体系得可诠释性、冷启动问题等方面的确存在首要得后劲 567 。 1.3.2 推举体系得输出数据 对于于一个特定得用户，推举体系给他得输出是一个推举列表，该推举列表依照优先级得程序给出了对于该用户可能感兴致得物品。 对于于一个适用得推举体系而言，仅仅给出推举列表往往是没有够得，由于用户没有晓得为什么体系给出得推举是合理得，进而也就没有太会采用体系给出得推举。为相识决这个问题，推举体系另一个首要得输出是推举理由，它表述了体系为什么以为推举该物品是合理得，如购置了某商品得用户有 90% 也购置了该商品等等。 为相识决推举合感性得问题，推举理由在工业界被作为一个首要得吸援用户接受推举物品得法子，在学术届也遭到越来越多得存眷 9 。 1.4. 推举问题得情势化 这里给出推举问题一个最典范得情势化，如上所述，该情势化法子来最早自于 GroupLens 2 ，并在 12 中做了进一步得论述。 起首咱们领有一个大型稀少矩阵，该矩阵得每一行表现一个 User ，每一列表现一个 Item ，每一个数值表现该 User 对于该 Item 得打分，这是一个 05 得分值， 0 表现该 User 不曾对于该 Item打分， 1 表现该 User 对于该 Item 最没有称心， 5 表现该 User 对于该 Item 最称心。视详细情形，对于于每一个 User ，可能有其对于应得 User Profile ，对于于每一个 Item ，可能有其对于应得 Item Profile ，如上所述。 咱们如今解决这样一个问题：给定该矩阵之后，对于于某一个 User ，向其推举哪些他不打过火得 Item 最容易被他接受，这里得接受依据详细得利用环境有所没有同，有可能是查看该消息、购置该商品、珍藏该网页等等。 对于于推举算法，还须要一系列得评估指标来评估推举得后果，这些评估法子跟评估指标将在第四局部详细阐明。 1.5. 推举体系得两大中心问题 有了如上得情势化描写之后，推举体系所要解决得详细问题总体有两个，分手是预测 (Prediction) 跟推举 (Recommendation) 预测所要解决得次要问题是揣度每一个 User 对于每一个 Item 得爱好水平，其次要手腕是依据已有得信息来计算 User 在他没打分得 Item 上可能得打分，计算成果当然是越精确越好，至 于若何来描写跟评估预测得精确度，将会在前面得第四局部阐明。 推举所要解决得次要问题是依据预测环节所计算得成果向用户推举他不打过火得 Item 。因为 Item 数目泛滥，用户没有可能全体阅读一遍，因而推举得中心步骤是对于推举成果得排序 (Ranking) 。当然，依照预测分值得高下间接排序的确是一种比拟合理得法子，然而在实际体系中， Ranking 要斟酌得要素良多，好比用户得春秋段、用户在最近一段光阴内得购置记载等，第一类 User Profile 往往在这个环节派上用处。 虽然人们早就认识到预测跟推举作为推举体系得两大中心问题都存在首要得作用，然而今朝绝大少数得推举算法都把精神集中在预测环节上，少数论文在给出对于预测后果得评价后就停止了。推举作为首要得后续环节须要更多得研讨，这与搜寻引擎得开展十分相似。今朝，推举多样性 8 、推举界面等良多方面得研讨也在遭到越来越多得存眷。 二、推举法子得分类 依照没有同得分类指标，推举体系存在良多没有同得分类法子，罕见得分类法子有根据推举成果能否因人而异、根据推举法子得没有同、根据推举模子构建方式得没有等同。 2.1 根据推举成果能否因人而异 次要分为民众化推举跟共性化推举。民众化推举往往与用户自身及其汗青信息有关，在同样得内部前提下，没有同用户取得得推举是一样得。民众化推举一个典范得例子是查问推举，它往往只与以后得 query 无关，而很少与该用户间接相干。共性化推举得特色则是没有同得人在同样得内部前提下，也能够取得与其自身兴致喜好、汗青记载等相婚配得推举，后面曾经有所先容，这里没有再具体阐释。 2.2 根据推举法子得没有同 也便是斟酌若何发觉数据得相干性：大局部得推举体系其工作原理仍是基于物品或用户得类似性进行推举，大抵上能够分为如下多少种： 基于生齿统计学得推举 (Demographic-based Recommendation)10 ，基于内容得推举 (Content-Based Recommendation)11 ，以及基于协同过滤得 推 荐 (Collaborative Filtering-Based Recommendation) ， 以 及 混 合 型 推 荐 系 统 (Hybrid Recommendation)16 。 个中基于协同过滤得推举被研讨职员研讨得最多