基于互联网的新闻素材传输效率分析
2021-01-28
来源:欧得旅游网
网络・lT I论文集锦 上海广播电视台 吕毅摘秦赘杨升陈迪 要:新闻素材在互联网上的传输需求日益增多,本文分析了如何才能在跨洲际的互联网络传输中获取更高的传输效率。通过对比 UDT UDP可靠传输 基于TCP和基于UDP的文件传输在不同网络环境中的传输效率,了解更有效的新闻素材传输方式,提升工作效率。 关键词:新闻素材传输一、概述 也保证了传送到接收端实体的包的按序接收。然后接收端实体对已 成功收到的字节发回一个相应的确认(ACK);如果发送端实体在合理 进入互联网时代以后,电视媒体间的竞争日趋激烈,各大电 视台对新闻素材的时效提出了越来越高的要求。目前新闻素材 回传主要通过4种手段:1)通过卫星信道传输 2)通过视音频专 的往返时延(RTT)内未收到确认,那么对应的数据将会被重传。 1)在数据正确性与合法性上,TCP用一个校验和函数来检 验数据是否有错误,在发送和接收时都要计算校验和;同时可以 使用md5认证对数据进行加密 2)在保证可靠性上,采用超时重传和捎带确认机制; 用光缆通道传输;3)通过人工方式传递素材介质;4)通过因特网 络传输素材。随着科技的发展第三种人工传递的方式已经逐渐 被其他3种素材传输模式所取代。然而通过卫星和光缆方式传 输素材代价高昂,并且对传输源的基础环境设施有很高的要求。 与前两者相比因特网络传输无疑在传输成本上有巨大的优势, 并且对基础环境的依赖很小。在过去的10年间越来越多的新闻 3)在流量控制上,采用滑动窗口协议,协议中规定,对于窗 口内未经确认的分组需要重传: 4)在拥塞控制上,采用TCP拥塞控制算法。 2、TCP为了确保零丢包所付出的代价 素材通过因特网络进行传输,传输文件的大小也不断的增长。目 前比较主流的方式是使用FTP传输。但是,基于TCP协议的FTP 传输服务在高延迟高丢包率的恶劣网络条件下传输效率会急剧 下降,为了改善这种情况,我们对基于UDP的高速传输进行了 研究,在开源的UDT协议基础上开发了新一代的素材回传软 件,并且在2014巴西世界杯的新闻素材回传中得到实际应用。 为了保证可靠性,TCP发送的报文都有递增的序列号和确 认号用来确保传输的可靠性。此外,对每个报文都设立一个定时 器,设定一个最大时延。对那些超过最大时延仍没有收到确认信 息的报文就认为已经丢失,需要重传。 随着网络带宽时延积的增加,通常TCP协议开始变得低效。 这是因为它的AIMD(additive increase muItiplicative 二、TOP传输机制和特性 1、基于TCP的可靠传输 TCP是一种面向连接的、可靠的、基于lP的传输层协议。 当应用层向TCP层发送用于网间传输的、用8位字节表示 decrease)算法完全减小了TCP拥塞窗口,但不能快速的恢复可 用带宽。理论上的流量分析表明TCP在BDP增加到很高的时候 比较容易受包损失攻击。 另外,继承自TCP拥塞控制的不公平的RTT也成为在分布 的数据流,TCP则把数据流分割成适当长度的报文段,最大传输 式数据密集程式中的严重问题。拥有不同RTT的并发TCP流将 段大小(MSS)通常受该计算机连接的网络的数据链路层的最大 传送单元(MTU)限制。之后TCP把数据包传给IP层,由它来通 过网络将包传送给接收端实体的TCP层。 TCP为了保证报文传输的可靠,就给每个包一个序号,同时序号 不公平地分享带宽。尽管在小的BDP网络中使用通常的TCP实 现来相对平等地共享带宽,但在拥有大量BDP的网络中,通常 的基于TCP的程式就必须承受严重的不公平的问题。这个RTT 基于的算法严重限制了其在广域网分布式计算的效率。 电视工程 TELEVISl0N ENGINEERlNG 论文集锦I网络・lT 三、UDT一种用UDP实现的可靠传输协议 1、UDT协议 四、FTP传输和UDT传输的测试比较 我们使用了一个实验室的模拟环境来进行测试 通过对Linux服务器的网卡进行配置来模拟真实网络中的 基于UDP的数据传输协议(UDP—based Data Transfer Protocol,简称UDT)是一种开源的互联网数据传输协议。 延迟和丢包情况,测试系统框架如图1所示。 UDT的主要目的是支持高速广域网上的海量数据传输,而互 联网上的标准数据传输协议TCP在高带宽长距离网络上性 能很差。UDT建于UDP之上,并引入新的拥塞控制和数据可 靠性控制机制,是面向连接的双向的应用层协议。它同时支 持可靠的数据流传输和部分可靠的数据报传输。由于UDT 完全在UDP上实现,它也可以应用在除了高速数据传输之外 的其它应用领域,例如点到点技术(P2P)、防火墙穿透、多媒 体数据传输等薛。 2、UDT的设计目标 UDT的主要目标是效率、公平、稳定。单个的或少量的UDT 硝lP 流应该利用任何高速连接提供的可用带宽,即使带宽变化得很 剧烈。同时,任何并发的流必须公平地共享带宽,不依赖于不同 的带宽瓶颈、起始时间、RTT。稳定性需要包发送速率应该一直 图1 为 ) 会聚可用带宽很快,并且必须避免拥塞碰撞。UDT并不是在瓶颈 带宽相对较小的和大量多元短文档流的情况下用来取代TCP 的。UDT和TCP是并存的,UDT分配的带宽不应该超过根据 MAX—MIN规则的最大最小公平共享原则。 3、UDT的包体大小和阻塞控制 UDT协议的打包方式总是试着将应用层数据打包成固定的 大小,除非数据不够这么大。这个和TCP相似的是,这个固定的 1 72 26.27.241的服务器操作系统为Centos6 4。这台服务器 配置了双网卡,em1配置为内网网卡lP:172.26.27.241/24,em2 配置为外网网卡IP:222.68 17.193/24Gateway:222 68.17.129。 我们使用TC和NETEM功能对em2进行模拟网络各种状 态的配置: 在基于TCP的FTP文件传输和基于UDT的文件传输过程 中我们得出以下测试结果。 包大小叫做MSS(最大包大小,默认大小为1500),MSS能够通 过应用程式来设置。UDT拥塞控制算法将速率控制和窗口(流量 1、测试网络延迟对传输效率的影响 TCP协议所使用的流量控制和拥塞控制决定了在网络环境 高延迟的条件下,延迟会对TCP传输产生重大影响。基于UDP 协议下的网络传输在这种网络环境中与TCP相比则会有比较明 显的优势。 控制)合并起来,前者调整包的发送周期,后者限制最大的位被 应答的包。在速率控制中使用的参数通过带宽估计技术来更新, 他继承来自基于接收的包方法。同时,速率控制周期是估计RTT 的常量,流控制参数依赖于对方的数据到达速度和接收端释放 的缓冲区的大小。 4、UDT的传输模式 Delay 500ms FTP传输平均速率1 25kBps: UDT传输平均速度约.500kBps: Delay 250ms FTP传输平均速率.250kBps: UDT传输平均速度约:500kBps; Delay 1 25ms FTP传输平均速率:500kBps; 有两种传输模式:数据流模式(SOCK_STREAM)和数据报 模式(SOCK_DGRAM)。数据流模式类似于传统的BSD套接字, 这种模式下任何一端一个调用就开始数据发送了,因为在数据 流中没有边界信息,进程需用loop来发送和接收。数据报模式 会将数据作为整个单元来传送,不需要循环来接收和发送数 据,要么全部发送,要么一点也不发送。在接收端如果缓冲区不 UDT传输平均速度约:500kBps Delay 0ms FTP传输平均速率:500kBps; UDT传输平均速度约.500kBps。 通过测试结果表明当TCP延迟小于等于125毫秒时网络延 够大,则只会接收到部分数据,其他的将被丢弃。UDT发送数 据有阻塞与非阻塞方式,在阻塞方式下,会直到把需要发送的 迟对传输性能几乎没有影响。当网络延迟达到250ms后,TCP 传输效率下降到正常速度的一半。当网络延迟达到500ms时, 数据发送完再返回。而非阻塞方式下,会根据socket底层的可 用缓冲的大小,将缓冲区中的数据拷贝过去,有多大缓冲就拷 贝多少,缓冲区满了就立即返回,这个时候的返回值只是拷贝 了多少,不代表发送了多少,同时剩下的部分需要再次调用 sendo 传输效率下降到1/4正常速度。相对的基于UDP的传输过程中, 网络延迟对传输速率的影响基本没有。 2、测试网络丢包对传输效率的影响 Loss 1%平均速率:500kBps; Loss 2%平均速率:500kBps; (下转第45页) 一12— 环绕声・制作I论文集锦 在比赛现场共架设了14只话筒,它们所起的作用并不都是 上,M25、M26、M28这三只话筒通过声相摇杆将其在声场中的 为了拾取比赛效果而设的。例如:M27、M28这两只话筒它们的 位置设置在环绕声场前环绕右边的位置上:M33、M36这两只 作用是为了在环绕声声场里加宽声场用的,如果不用它们拉开 话筒通过声相摇杆将其在声场中的位置设置在环绕声场前环绕 声场的话,这么多只话筒布在声场里最后听起来好像全部团在 偏左中的位置上;M34、M36这两只话筒通过声相摇杆将其在 一起,不能体现比赛场地的宽阔度;M29至M32这四只话筒的 声场中的位置设置在环绕声场前环绕偏右中的位置上。 作用有两个:一是拾取比赛场地的效果,二是平恒由于M27、 到此鸟巢场馆里架设的话筒已全部定位于多声道环绕声的 M28将声场拉开后中间部分过于空虚的问题;真正用于拾取比 声场里,剩下的工作就是在实际录制过程中对当时现场音效的 赛场上运动员比赛效果的是M33至M36这四只话筒,前面已介 实时调整。 绍过了AT895话筒的一些技术指标,其中一项代表性特点是以 根据BOB的要求,在录制过程中不得对声音信号进行任何 超感度的Micro Line超窄指向性音头为中心,上下左右对称配 形式的效果处理,所以在这次录制过程中没有对任何一路声音 置了4只单一指向性音头。将这5只音头所收的信号,以新开发 信号加任何效果(均衡器、噪声门、压限器等)。但个人认为在一 的“Delta Beam”专利技术,使用数位信号处理(DSP),而实现 些特定的话筒上,如:AT895如果加上均衡器、压限器将一些击 了最适合竞赛场上的远距离收音的新世代麦克风。我们就是利用 球以外的声音去处,效果会更好。 它这一特性在四名志愿者的协助下,每人手持一套AT895在比赛 在环绕声制作过程中,笔者发现由于人类自身生理及心理 场边对赛场上的持球队员进行实时拾取声效,他们每人负责比赛 特性的原因,会影Ⅱ向到你自身对声音的感知度,比如,你会觉得 场地四分之一的空间。实际效果非常好,整场比赛做到了清晰拾 从你眼前传过来的声音比从你背后传来的声音更能引起你的注 取球员在比赛场上的全部声效。以上是对比赛场地周边架设话 意,这是你耳朵的生理特性造成的;当你特别关注某件事情时, 筒功能的阐述,下面是对这些话筒进行声场设置的时候了。 你可能听不见与这件事不相关的其它声音,即使不相关的声音 比赛场地周边架设的14只话筒全部定位于环绕声声场的 非常大,造成这个情况的是你心理特性引起的。所以,在多声道 前环绕中,M29、M31这两只话筒通过声相摇杆将其在声场中 声音制作过程中有意识地加强了对整个声场比例的调整,前后 的位置设置在环绕声场前环绕中间偏左的位置上,M30、M32 声场的比例并不是5:5,而是4:6。后声场的响度要稍大于前声 这两只话筒通过声相摇杆将其在声场中的位置设置在环绕声场 场,这样听起来才更加真实。 前环绕中间偏右的位置上:M23、M24、M27这三只话筒通过声 以上是笔者对于多声道环绕声技术在体育比赛中应用的一 相摇杆将其在声场中的位置设置在环绕声场前环绕左边的位置 些认识和想法,供大家讨论。一 ^,、 ; 0; ; ; \ ; s # \ 晶 ; 0; 茹 瞄 坊 蠕 # (上接第12页) 下的。UDT在高延迟、高丢包率的网络条件下,传输速率基本不受 测试数据表明单纯的网络丢包对于TCP的传输速率影响非 影Ⅱ向。 常小,几乎可以忽略不计。同样对于UDP传输来说,单纯的网络 丢包对UDP的影响也很少。 五、结束语 3、测试网络延迟和丢包对传输效率的影响 在这次巴西世界杯的转播期间,我们为上海电视台五星体 在实际的网络环境中丢包和高延迟通常是同时出现的,接 育频道部署了一套基于UDT协议开发的传输软件。 下来我们就来测试一下网络延迟和网络丢包同时存在的情况下 我们把传输的服务端布置在上海本地机房,并且配置了独 TCP和UDP的传输效率。 立的20Mbps电信带宽。把客户端部署在前方记者的笔记本电 66.220.侣.42这个fP地址来美国洛杉矶,我们对这个ip地址 脑上,记者把前方的新闻素材通过互联网传送到上海本地,然后 进行了测试,检测结果平均rtt延迟247ms,网络丢包率大约1%。 由频道编辑通过FTP方式到本地服务器上获取素材,最终用于 根据这个实际网络情况我们对实验环境进行了调整:tc 节目制作。在实际传输过程中,我们发现UDT协议在无线网络 qdisc add dev em2 root netem loss 1%delay 247ms 中的传输效率比较低下,使用有线网络传输效率提升明显。 测试结果:FTP平均传输速度大约40kBps: 最终传输效果受到巴西当地传输网络的影响,各个城市网络 UDT传输平均速度约:500kBps。 传输速率不尽相同,速率比较快的城市能够达到15~20Mbps,比 非常明显网络延迟和丢包叠加的效应严重影响到了TCP的 较慢的只能达到1~5Mbps。但是,相对于传统的FTP传输有了很 传输效率,FTP的传输速度大约是正常速度的8%。所以我们以往 大的提高。未来我们计划对软件进一步完善,提升用户体验度,希 所使用的传统FTP传输方式在洲际间的素材传输效率是比较低 望能够在全台范围内推广使用基于UDP的新闻素材传输。■ —.45—. 电视工程 TELEVISION ENGINEERING