2016年10月,一种基于数据挖掘的IPTV QoE评价方法,报告人： 李良,2,目录,1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证,3,1 问题和背景,3,电信、移动、广电等运营商均基于宽带IP（Internet Protocol，网际网协议）网开展了大规模IPTV业务 大面积IPTV质量投诉，用户对IPTV的服务质量满意度下降，宽带运营商难以先于用户投诉发现IPTV质量劣化现象，难以预警投诉并提前处置 IPTV业务在日常运行中，积累了海量的指标数据难以发挥应有价值。需要获取每个IPTV客户在使用业务过程中感受到的质量（感知质量，Quality of experience, QoE），以实现投诉预防、预检预修。 需要有效的IPTV QoE计算方法,研究对象和问题,1 问题和背景,QoE评价方法,基于数据挖掘的评价方法,传统评价方法,完全参考评价,部分参考评价,无参考评价,QoE指标选取分析,QoE评价模型,因子分析法,主成分分析法,相关性分析法,回归分析法,AHP层次分析法）,6,2 IPTV QoE关键指标选择,6,IPTV原始指标,7,2 IPTV QoE关键指标选择,7,步骤一：首先采用因子分析法来对指标变量进行分析，也就是对这些指标变量进行KMO检验，KMO检验的目的是判断是否有必要对这些指标变量进行因子分析。,IPTV承载网络QoE参数的KMO值为0.83 IPTV视频QoE参数的KMO值为0.78 用户终端性能QoE参数的KMO为0.80,2 IPTV QoE关键指标选择,步骤二：采用主成分分析法对这些指标集进行降维，使原本存在相关性的指标变成不存在相关性的指标，从而降低指标数目。,主成分分析（Principal components analysis, PCA）,选取前三个主成分的累积贡献率达到84.12%，而两个主成分的累积贡献率只有67.46%，所以选择前三个主成分,2 IPTV QoE关键指标选择,步骤二：采用主成分分析法对这些指标集进行降维，使原本存在相关性的指标变成不存在相关性的指标，从而降低指标数目。,所以得到影响第一主成分的指标为丢包率，影响第二主成分的指标为抖动，影响第三主成分的指标为时延，最后得到影响IPTV承载网络QoE参数的指标为丢包率、抖动和时延。同理可获得其他类型的主成分指标,2 IPTV QoE关键指标选择,步骤三：通过步骤二得到了三类指标里所有的关键指标，但这些指标还不一定能完全反映用户体验质量QoE，因为还不确定这些指标对QoE是否有影响。继续采用Pearson相关系数来对这些指标与QoE之间的关系进行分析，以确定这些指标是否为是影响QoE的关键指标。,MOS值为通过大量电话回访获得的用户主观评分结果，取值范围0-5，代表了IPTV用户的真实感受，作为对IPTV指标的相关性检验依据。,根据pearson相关系数与相关性的关系，可以看出IPTV承载网络中各指标与MOS值之间是显著相关，而各指标之间是低相关或者中等相关，说明降维后得到的指标是符合要求的,11,目录,1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证,12,3 IPTV QoE评价模型,12,SMOS为希望获得的IPTV QoE值，值的范围是0到5之间的实数； mos(u)为用户终端性能QoE参数的体验质量拟合后的评价值，值的范围是0到1之间的实数； 而MOS( N ,V )是对IPTV视频QoE参数和IPTV承载网络QoE参数的体验质量进行拟合后得到的评价值，值的范围是0到5之间的实数。,3 IPTV QoE评价模型,明确回归方程中哪些是自变量与因变量：通过上述QoE评价模型可知：只需要求出MOS( N ,V )和mos(u)的回归方程就可以得到完整的关于指标与QoE之间的回归方程，因此本节的回归方程有两个，因变量分别是MOS( N ,V )和mos(u)，而自变量则分别是他们各自对应的相应指标。 明确回归模型：回归方程的构建涉及多指标问题，也就是每个因变量对应多个指标，不能简单的通过画出离散点来实现函数拟合，本节采用的方法是先通过分析上面相关性分析法得到指标与因变量之间的关系，然后根据专家经验来建立回归模型。 确定参数系数：根据上一步得到的回归方程、指标数据和QoE值，通过在实验条件下进行仿真实验，得到回归方程中各个参数所对应的系数，从而得到一个明确而完整的回归方程。,14,目录,1 问题和背景 2 IPTV QoE关键指标选择 3 IPTV QoE评价模型 4 实验验证,15,4 实验验证,15,利用某市运营商用户针对直播和点播的真实IPTV指标数据，采用本文方法进行拟合评分，利用这部分用户的电话回访数据（用户主观评分）计算本文拟合算法的拟合优度值。,不同的IPTV业务的指标参数不一样，造成这个结果的原因是选择的两个视频在时间与空间信息上所包含的数据量本身就不一样，也就意味着它们各自对IPTV质量的影响不同，所以也就导致它们对丢包率、比特率、帧率等参数的相关性不一样； 所设计的拟合回归函数可以很好的反映指标与QoE之间的关系，通过上面的拟合优度值与残差平方和可以看出，不同的视频采用本论文设计的评价模型得到的拟合回归函数的拟合优度值均大于90%，且残差平方和均小于0.04，说明此拟合回归函数能较好反映用户真实体验。,16,4 实验验证,16,利用某省运营商全部用户3天内真实IPTV指标数据，采用本文方法对每个用户进行拟合评分，并计算每个用户3日平均分，采用不同的阈值进行质量预警，然后利用3日内全省IPTV投诉记录进行实际预警命中率验证。,利用全省所有IPTV用户连续3天的IPTV运行数据，对所有用户进行QoE评分，并计算3日内平均分。指标样本记录共计超过4千万条。 分别按照不同的评分阈值，对用户进行质量预警，提取多个阈值的QoE预警清单。 提取3日内所有IPTV质量类投诉记录，作为投诉清单，共计2410人。 对比QoE预警清单针对投诉清单的命中率，验证本文QoE评价模型的有效性。,采用本文设计的评价模型，在设定触发预警评分阈值为80分时，QoE预警清单对投诉清单的命中率为66.35%，即：本文方法可有效预警60%以上的投诉用户。,谢谢,