您的当前位置:首页正文

用户行为感知与网络边缘内容分发优化策略研究

2024-06-01 来源:欧得旅游网
Video & Audio视音频技术用户行为感知与网络边缘内容 *分发优化策略研究文/国家广播电视总局广播电视科学研究院 万倩 赵明 赵翠随着高新视频业务带宽占用量的摘要:本文针对移动端视频服务特性,设计了基于用户内容偏好和移动行为感知的网络边缘节点内容分发优化策略,该优化策略能够快速响应移动端用户兴趣,大大减少主干网络带宽资源的消耗,同时提升了用户的收视体验,有利于广电网络运营商优化网络配置并提升服务质量。增长,对于内容分发网络(CDN)的优化显得尤为重要。选择合适的优化策略,既可以提高用户访问的响应速度和成功率,又可以降低网络带宽拥挤,保持网络传输的稳定均匀。从网络特征角度,以用户为中心,以业务为驱动的组网成为趋势。5G网率,从而降低部署与运营成本,使得更多的终端用户享受到高带宽高质量的服务,提升用户的高清/超高清视频观看体验,进一步创造用户价值。2 需求分析对于广电网络运营商而言,顺应IP化发展趋势,基于IP技术开展互动络带来的网络Mesh化、扁平化架构,视音频业务成为未来业务的发展方向[2]。可以加速内容在网络中的传输,充分在此背景下形成的IP内容分发平台系发挥低时延、高可靠通信的技术优势,统架构设计如图1所示。关键词:内容分发 行为感知 边缘优化更有利于传统的内容分发向固移融合方向发展。利用大数据分析,采用移动边缘计算技术,可以对网络进行智能化调度,一方面将计算和存储资源该架构自底向上分为终端层、网络层、能力层和业务支撑层。终端层承载着数据采集的任务,通过该层采集的数据将通过网络层传输至能力层,而在能力层,对数据进行分析挖掘与建模处理,并将处理结果反馈给业务支撑层,而业务支撑层,可以根据支撑数据执行各项系统优化措施,从而达到优化服务网络和提升用户服务质量的目的。为了满足移动视频所带来的爆炸式带宽增长需求,同时减少租用网络资源的成本,运营商在5G网络环境下需要将分发网络架构推向离用户更近的边缘网络[3],从网络边缘侧的用户行为特征出发构建新型内容分发网络[4]。用户行为特征驱动的视频内容分发网络和传统视频内容分发网络架构对比如图2所示,相较于传统固定网络视频服务,移动视频服务中用户移

1 引言随着信息技术的快速发展,以及5G网络的商业化推进,信息网络加速向高速率、全覆盖、智能化、移动

部署到边缘服务器或终端设备,可以就近对本地数据进行处理,无需把数据传输到远端的云上,另一方面利用网络扁平化优势,提高内容分发的命

化演进。有线电视网络要支撑新业务、中率和响应速度。新服务、新业态,必须向具备智能分流调度的新型网络架构转型。

2019年10月,国家广播电视总局发布《有线电视网络升级改造技术指导意见》,提出加快有线电视网络与融合媒体、5G移动网等新兴业态和传播渠道的相互融通和协同服务,推动有线电视网络“云、网、端”资源要

从用户特征角度,在用户IP就近性、设备负载情况、内容命中情况的基础上,利用用户行为数据在广播电视分发网络中定位区域性的用户需求和偏好是整个行业研究的热点。通过分析用户行为特征,建立用户单点及群体画像,有助于进行差异化的业务服务递送,优化系统配置,视频调度

素的有效整合,着力构建高速、泛在、和缓存策略,减少网络中冗余的高容智慧、安全的新型有线电视网络[1]。

量传输代价,提高网络带宽的使用效

* 本文受国家广播电视总局广播电视科学研究院基本科研业务费资助,项目编号JBKY2019012

44

. www.rti.cn

摄录采编播 Video Editing&Broadcast 动与偏好行为有根本变化:传统内容多个服务区域,需要考虑视频内容流行分发技术依靠中心化基础设施、全局度在不同区域内的差异性问题。流行度趋势,无法有效感知、服务移(3)一般地,边缘网络节点具有动视频内容请求[5]。

较小的带宽和存储资源,关键在于如为了更好地服务用户、提高体验何利用有限的网络资源更好地缓存和质量,需要解决以下问题。

分发视频。

(1)用户每天在不同的地方请求视频变得越来越普遍,而且用户的视3 移动端视频服务特性挖掘

频请求行为可能会随时间、地点的不3.1 实验数据说明

同而产生变化,难点在于如何准确刻(1)实验请求数据集

画移动端用户的视频请求行为。

记录了用户通过移动客户端如何(2)相较于传统CDN网络服务节请求视频的数据,横跨连续2个月时点,边缘网络服务节点(基站、Wi-Fi间,覆盖超过200万用户,包含超过等)的作用范围通常较小,一个大的地30万部不同视频。其中,每一条数据

区通常会被很多个边缘网络节点划分为记录了设备号、视频名称、视频简介、图1 IP内容分发平台架构图2 视频内容分发网络架构2020年3月 月刊 总第335期视频类别、观看时间、观看地点等信息。

(2)边缘节点信息数据集记录了用户移动端所连接边缘节点的网络信息,横跨超过半年时间,覆盖超过100万个边缘节点(Wi-Fi,基站等)。其中,每一条数据记录了设备号、地点、上传/下载速度、PoI信息等。3.2 视频的请求特性

通过比较视频在多个时间段在不同区域被请求的情况,检验是否存在一个视频在不同区域被先后请求的时间序列。具体来说,对于一个区域A,随机选取一个特定时间段作为基准,并计算区域A和其他区域在不同

时间段内视频请求集合的Jaccard相

似度(该相似度系数介于[0,1],系数越大,相似度越高)。在下文的实验里,通过比较任一区域和其他所有区域的相似度,并计算平均的相似度系数作为最终结果。视频请求时空关系如图3所示,展示了3个不同区域的归一化后的Jaccard相似度情况(选定早上5点作为参考基准)。可以看到,区域A、B和C的最相似时间分别是早上6点、10点和11点。这说明最新、最流行的视频更可能会最早被在类似A区域的用户所请求,最晚被在类似C区域的用户所请求。

如图4所示,进一步地探究了视频流行度在不同区域的差异性。通过选取最流行的1000部视频,并分别计算它们在不同请求区域内的流行度排名,取平均值作为最终的排名结果。可以看到,1000部最流行的视频在高达60%的区域内流行度排名低于前40%。这说明移动视频全局流行度和局部流行度往往存在着巨大差异。因此,在针对移动端的视频分发网络中,局部化的缓存 . www.rti.cn

45

Video & Audio视音频技术图3 视频请求时空关系图5 观看时间VS相似好友比例图4 流行视频的局部流行度分布图6 移动端和固定端在不同缓存空间下的缓存命中率策略往往比全局化的策略更加适合。 户群中有50%的用户已经观看过一部视频后,在2小时内,大约60%的用户将会观看相同的视频。

移动模式中。结果表明,用户通常在2~4个区域内有着往复移动行为。

3.3 用户内容偏好

基于实验视频请求数据集,可以将视频主要分成综艺节目、动画片、电视剧和电影四类。通过探究用户对不同视频种类内容的偏好,发现超过70%的用户更喜欢观看某一特定种类的视频(即某一特定种类的视频请求占这些用户各自总请求的50%以上)。同时,可以研究分析拥有相同内容偏好的用户之间的关联性。在实验中,通过计算每个用户和其他用户的余弦距离相似度,并且选择每个用户相似度最大的前10%用户,组成相似用户群。观看时间VS相似好友比例如图5所示,可以得出用户未来会观看某个视频的时间间隔和其相似用户群中已经观看过该视频的用户比例之间的潜在关系。结果表明,当相似用

3.4 用户移动行为

基于传统内容流行度预取视频缓存策略,移动端和固定端用户在不同边缘节点缓存空间下的缓存命中率如图6所示。可以观察到,随着缓存空间的增大,移动端和固定端用户的缓存命中率都逐渐增大,但是移动端

4 优化方案设计

基于移动端视频服务特性挖掘,我们设计了一种基于用户行为感知的网络边缘优化技术方案,其技术架构如图8所示。

该方案主要应用于边缘节点(介于用户和CDN服务器之间的边缘网络

。因为边缘节点设备通常具有一定用户的缓存命中率总是低于固定端的。中)这说明传统的预取策略并不适用于移动视频内容。

移动端用户因为移动可以从多个边缘节点获取视频内容,所以重点研究他们的移动模式,即他们是如何在不同的区域间移动。拥有相同移动模

的存储和计算能力,所以运营商可以使用边缘节点响应用户请求,并且缓存从CDN服务器传输过来的视频。与此同时,边缘网络中的预取控制器基于用户的历史请求信息,学习出用户偏好和移动模式,从而预测未来视频

式的用户比例如图7所示,可以看到,请求,并从CDN服务器预取相应的视超过70%的用户集中在最流行的7种

频内容缓存到边缘节点中。那么当用

46

. www.rti.cn

摄录采编播 Video Editing&Broadcast 户新的视频请求发出时,如果边缘节因为视频大小是固定的,所以决定点缓存了请求的视频,则直接由边缘预取策略x的关键是如何预测出视频节点提供服务;否则,这些请求由远请求量

的值。

端的CDN服务器提供服务。

4.2 用户行为感知与网络边缘预取4.1 优化问题描述

优化

在边缘节点内容预取优化问题中,4.2.1 基于用户内容偏好的内容流行

我们的目标是得到一组可以最大化所度预测

有边缘节点整体缓存命中率的预取策研究表明在视频服务、社交网络、略x。我们假定每个边缘节点的预取推荐系统中,有着相同偏好的用户往策略都是独立的,所以最大化所有边往表现出相似的行为。因此对于每个缘节点的整体缓存命中率等价于最大用户,我们希望基于其相似用户的当

化每一个边缘节点的缓存命中率。因前状态,预测该用户下一时刻的状态。此,我们的边缘节点内容预取问题可简单来说,根据用户请求视频的历史以刻画为一个典型的0/1背包问题[6]。

记录,计算用户之间的Jaccard相似图9公式(1)中,是边缘节点度系数并构建一个“用户-用户”相的缓存空间大小,表示视频的大

似度网络。在该网络中,如果两个用小,

表示

时刻用户在边缘节点

户有着相似的请求模式(Jaccard系请求视频的数量。而预取变量

数大于0.3),那么他们就是相连的用示视频是否在时刻预取到边缘节点户。给定一部视频,如果某一用户的

=1表示预取,

=0表示不预取)。大部分相连用户都已经观看了这个视

图7 相同移动模式的用户比例图8 基于用户行为感知的网络边缘优化技术方案2020年3月 月刊 总第335期频,那么我们相信这个用户大概率也会观看这个视频,如图10所示。

我们基于马尔科夫随机场理论[7],将用户是否会观看某一视频量化为一个置信概率。为了计算概率,我们提出两个假设。

(1)如果一个视频比其他视频更

流行,那么这个视频被用户观看的概

率更大。

(2)相连用户之间的影响力要比非相连用户的大。用=1表示在时刻,用户已经观看过视频,=0反之。因此,在时刻,用户是否会观看视频的置信概率正比于。图9公式(2)中,表示所有用户的集合,表示用户的相连用户集合,而

作为势函数,定义了一

个关于用户-用户相似度网络的全局Gibbs分布。

为了计算该概率,我们使用了Gibbs采样方法。

图9公式(3)中,

别表示用户的相似用户中已经看过和未看过视频的人数。对于用户,如

果给定参数,我们可以使用公

式(1)的条件概率生成样本,从而不断更新用户的置信概率。

实际上,我们并不知道参数的取值。而且很难使用最大

似然估计方法去直接求解这几个参数,因为

本身就是关于

的函数。因此,我们设计了一

种基于逻辑回归模型的拟似然估计方法来估计参数,如图9公式(4)

所示。

如图11所示,算法1展示了用户偏好预测的具体流程。首先,初始化

参数算法1展示了用户偏好预测的具

. www.rti.cn

47

Video & Audio视音频技术体流程。首先,初始化参数(α,β,γ),户视频请求,得到用户移动前每个边并且通过公式(4)进行参数估计;然后,根据公式(3),我们采用Gibbs后,汇总预测的用户视频请求,得到缘节点的视频请求分布。通过公式(4)用户移动前每个边缘节点的视频请求进行参数估计;然后,根据公式(4),分布。采样迭代地计算后验概率P,直至获我们采用Gibbs采样迭代地计算后得稳定的数值;最后,汇总预测的用

验概率P,直至获得稳定的数值;最图9图10 当前时刻和下一时刻观看视频用户变化情况图1148

. www.rti.cn

4.2.2 基于用户群体移动的内容流行度迁移

从用户移动行为特性可以看出。(1)越来越多的用户在不同区域间移动地观看视频,使得多个区域的边缘节点服务了相同的用户,而这些用户往往有着很差的用户体验。

(2)用户通常在2~4个区域内有着往复移动行为。基于这些特性,我们设计了基于群体移动的预测模型,从而得到用户移动后每个边缘节点的视频请求分布。

考虑一个有L个边缘节点的一般性边缘网络结构,并假定用户每次

只能连接离他最近的边缘节点并获取视频。用

表示在时

刻从其他边缘节点区域移动到边缘节点区域的用户数,如

表示从边

缘节点移动到节点的用户数。用

表示在时刻边缘节

点的视频请求分布。我们的目的是预测因用户移动而导致边缘节点视频请求分布发生的变化。不失一般性,对于边缘节点,我们需要预测下一时刻

的请求分布。为了求解,借鉴

PageRank算法[8],我们提出了基于群体移动的内容流行度迁移算法,如图12中公式(5)所示。

如图13所示,算法2展示了视频流行度迁移算法的具体流程。该算法采用了数值迭代求解方法,拓展了PageRank算法并使用L2范数来估计误差。在每一次迭代中,根据用户移动特性和前一次的迭代结果,下一

时刻的请求分布使用公式(5)进行更

摄录采编播 Video Editing&Broadcast 图12图13图14 预测模型评估新。当下一时刻的请求分布收敛

将会有更好的用户体验。但是,如果预时,该算法停止。

取的视频没有被用户所请求,那么就会4.2.3 基于贪心的边缘预取优化策略

造成网络资源的浪费。同样地,频繁地合并算法1和算法2的结果,我预取视频也会降低用户体验,因为这将们基于用户偏好和移动行为可以预测会大大增加边缘节点和内容分发网络服出公式(1)中的视频请求分布

。为

务器的带宽消耗[9]。因此,在实际系统了最大化每一个边缘节点的缓存命中中,边缘节点进行预取操作的时间不仅率,可以采用贪心策略,边缘节点每要考虑用户体验的增益,而且要考虑新次只预取缓存那些最大视频单元量

增的带宽消耗。的视频,直至边缘节点的存储空间不足。

5 实验验证

需要注意的是,边缘节点预取操作5.1 实验环境

将会在用户还未请求对应视频时,从内在该系统中,我们从实验请求数容分发网络服务器主动下载那些未被缓据集选取了视频请求最多的前10%用存的视频内容。如果用户请求的视频已户的数据,包含超过20万个用户,10经被预取到边缘节点缓存中,那么他们万部不同视频,1500万视频请求。在2020年3月 月刊 总第335期实验中,每次使用前一周的数据训练模型,用剩下的数据去验证方法。根据边缘节点信息数据集,将用户请求重定向到前1%最流行的边缘节点(约1万个边缘节点),并设定用户只能从离他最近的边缘节点请求视频[10]。考虑公式(1)中的限制条件,我们假定每个边缘节点都有相同的缓存存储空间,且=λ×不同视频数×平均视频大小。实验中,λ=0.1‰,不同视频数是10万,平均视频大小是180MB,所以边缘节点缓存空间=2GB。此外,我们设定任意连续两个时刻的时间间隔是1小时。5.2 预测模型评估

我们首先评估内容流行度预测模型的有效性。针对预测模型,预测下一时刻用户会请求的视频是什么,并且计算特异度和灵敏度指标。特异度和灵敏度在不同的后验概率阈值下的关系如图14所示。当阈值等于0.38时,

对应的特异度和灵敏度是相同的,都为0.73。在预测模型中,为了降低预测误差,我们考虑的是每一部视频的累计概率。因此,可以通过提高阈值,获得相对较高的灵敏度和较低的特异度。5.3 分发效率

在实验中,我们的方法将会与以下四种传统方法进行对比:基于内容流行度的预取方法,每一时刻边缘节点预取当前最流行的视频;基于用户偏好的预取方法,每一时刻边缘节点根据算法1预取请求概率最高的视频;基于用户移动随机的预取方法,每一时刻根据算法2预取请求最高的视频;最优预取方法,假定已知用户未来什么时间、什么地点、请求什么视频,那么每一时刻请求使得分发效率最高的视频。 . www.rti.cn

49

Video & Audio视音频技术我们使用了下文的指标来验证我频来提高分发效率;作为对比,基于们方法的性能,具体如图15所示。

流行度方法的带宽消耗是最小的,因(1)准确率

为最流行的视频只占所有视频的很小指边缘节点预取的视频下一时刻一部分。我们的方法虽然增加了10%被用户请求的比例。可以看到,基于的额外带宽用来预取视频,但是它却流行度的预取方法和我们设计的方法提高了缓存命中率,从而减少了20%的准确率都超过了80%。这说明我们的CDN服务器的带宽消耗。

方法仅通过预取一部分的最流行视频(4)服务率

可以达到一个较高的准确率。

指边缘节点缓存服务的用户数(2)缓存命中率

占所有用户的比例。可以看到,我们指边缘节点预取的视频被用户请的方法服务率分别比基于流行度的方求的次数占总请求次数的比例。可以法和基于用户移动随机的方法提高了看到,由于缓存空间的大小限制,最20%和27%。这说明我们方法对用户优预取方法的缓存仍命中率小于移动行为更加鲁棒。

100%;基于用户偏好的预取方法的命中率要高于基于流行度方法的结果,6 总结和展望

这说明虽然频繁地预取视频降低了准本文首先展开需求分析,对比了确率,但是能在一定程度上提高缓存传统视频内容分发和用户行为特征驱命中率;相比于基于流行度的预取方动的移动端视频内容分发,分析并挖法,我们的方法提高了20%的缓存命掘移动端视频服务特性,重点研究网中率。

络边缘节点视频预取优化策略,设计(3)带宽消耗

了基于用户内容偏好和移动行为感知指因为预取操作所产生的额外的

的网络边缘节点优化方案,并基于真

带宽消耗(与预取视频次数成正比)。实的实验数据对方案的有效性进行了可以看到,最优预取方法的带宽消耗仿真实验验证。该优化策略能够快速是最大的,因为它会尽可能地预取视

响应移动端用户兴趣,大大减少主干

图15 分发效率50

. www.rti.cn

网络带宽资源的消耗,同时提升了用户的收视体验,有利于广电网络运营商优化网络配置并提升服务质量。

该方案作为视频内容分发网络优化策略的一种尝试,在考虑到预取优化方法的同时,对于内容分发网络原有鉴权系统也需要做进一步的改进和优化,对于鉴权系统的优化策略需要进一步开展相关的研究工作,以解决内容安全和内容分发效率之间的调和问题。参考文献:

[1] 广电发〔2019〕82号.有线电视网络升级改造技术指导意见[S].

[2] 田园.CDN技术在广电互联视频业务中的应用[J].广播电视信息,2015 (12): 68-69.[3] 张伟强,韦广林,孙森田,等.基于5G边缘网络的视频CDN业务分流方案探讨[J].邮电设计技术,2019 (7): 5.

[4] 胡文.边缘网络多媒体内容分发策略研究[D].清华大学,2017.[5] Ma G,Wang Z,Chen M,et al.APRank: Joint mobility and preference-based mobile video prefetching[C].2017 IEEE International Conference on Multimedia and Expo (ICME).IEEE,2017: 7-12.[6] Shanmugam K,Golrezaei N,Dimakis A G,et al. Femtocaching: Wireless con-tent delivery through distributed caching helpers[J].IEEE Transactions on Informa-tion Theory,2013,59(12): 8402-8413.[7] 王宁,高光,柴争义.基于马尔科夫随机场的微博用户转发行为预测[J].中文信息学报, 2018,32(6): 107-113.

[8] Page L,Brin S,Motwani R,et al.The PageRank citation ranking: Bring-ing order to the web[R].Stanford Info-Lab,1999.

[9] Ma G,Wang Z,Zhang M,et al. Under-standing performance of edge content caching for mobile video streaming[J].IEEE Journal on Selected Areas in Com-munications,2017,35(5): 1076-1089.[10] 杨晨阳,韩圣千,李荣鹏,等.利用异质蜂窝网络大数据跨层优化无线资源[J].信号处

理,2018,34(12): 1395-1404.

因篇幅问题不能全部显示,请点此查看更多更全内容