找回密码
 立即注册
LiveVideoStack 首页 资讯 查看内容
  • QQ空间
  • 回复
  • 收藏

曾小龙:如何使用机器学习算法优化分发链路

2018-4-3 10:43

  4月21日PP云作为LiveVideoStack的特别支持单位,将在上海浦东新区陆家嘴软件园苏宁文创园区举办《多媒体开发新趋势》系列沙龙,为大家展现新技术在音视频领域的探索与实践,以及新兴应用场景和传统行业的最新、最佳实践。PP视频云技术副总监曾小伟作为特邀讲师,将为大家带来《如何使用机器学习算法优化分发链路》的演讲。今天先为大家透露一些演讲内容的精彩摘要。


Speaker:


演讲者曾小伟现担任苏宁云商数据云公司PP视频云技术副总监。图像编解码、高性能计算出身;从事过AI(NLP)方向的工作,10年以上流媒体服务服务端开发与架构设计经验,8+年以上团队管理经验。目前负责PP视频云的架构设计与研发工作,承接苏宁集团内部的视频业务,推动视频云平台架构改进,提升服务能力;对外,提供优质的视频SAAS服务。同时是多家科技类网站的执笔观察员,PP视频云长期特邀撰稿人兼执行主编。


Topic:


点播视频(包括短视频)压制完成后,需要经过内部存储和分发才能接入到视频CDN,内部存储分发的功能由点播视频源站来实现。源站内部分发的过程中,视频数据会通过大量的服务器节点,这些节点分布在不同地域、不同运营商的机房、不同的时间,连通性都是不断变化着的。传统的做法是根据运维经验,配置固定的主备线路进行分发,缺点是线路发生拥塞和故障时,分发的质量会受严重影响甚至失败。PP云则引入机器学习算法,实时生成转发链路的方案,选择最优质的网络链路,提高分发速度。本次分享将对优化方案架构、模型、算法设计和实践,以及未来发展做详细介绍。


Abstract


1. 点播视频源站介绍及分发链路优化的意义


PPTV新上线了一个电影,或者一些短视频网站的用户新提交了一个短视频后,这些视频放在哪里呢?对于视频网站(平台)来说,这个存储视频的地方,就叫做源站。点播视频源站的职责,不仅仅是负责有效的存储这些视频文件,同时也要考虑如何高效稳定的让观众看到这些数据。


观众观看这些视频,通常是通过客户端从CDN下载视频数据,CDN的核心节点,会对接视频网站的源站,下载数据(这个过程通常称作回源),之后CDN会分发(并缓存)这些数据到观众。一个视频网站,可能会对接多个CDN,包括自建和商业,每个CDN,在不同的区域和运营商,可能也有不同的接入点。另外,视频源站内部的设计,也是分层级的,通过多级缓存和分发,逐级降低和分散访问压力。


源站内部服务器之间以及源站与CDN接入点的通信和数据传输,一般都是通过网络的,经常会有抖动。动态的选择好的分发链路,将大大提升数据从源站内部分发,以及到CDN的分发速度。


2. 传统的源站内部分发方案的缺点


前面提到,源站内部,其实是可以分层级或者已经分了层级的。在源站的不同层级之间,数据首先会存储在中央层,通过网络向下层分发,分发过程中,下级节点向上级的哪个节点回源,通常是固定的;CDN也是通过固定的接入点,对接源站回源。网络可能会有抖动,在某一时刻,按照固定的链路回源,可能不是最优的链路,甚至在故障期间是不可用的。


3. 通过基于机器学习的分发链路选择处理将带来什么好处


历史上每次回源下载文件,使用的链路,以及最终下载的速度(文件大小、下载时间)等数据是宝贵的资源,通过对这些数据进行机器学习,可对当前时间点、不同链路选择下针对一定大小的文件的传输做出下载速度预估,在这些链路中,选择出一个相对(预估)最优的链路进行分发,将大大提升源站的分发效率。


当然,通过机器学习预估后的结果,产生的下载速度,将作为下一步学习的输入数据,不断调整和学习,做到最优链路的选择。这个思路,不只是可以用在点播源站内部分发的过程中,同时也时可以使用在一些直播回源链路中的,只是学习的模型、参数会有差异。


4. PP云点播视频源站架构简介


PP云点播视频源站,分为三层,中央层为原始的视频文件存储以及HTTP下载缓存服务;转发层部署在全国几个BGP机房中,负责文件的中转以及临时缓存;边缘层对接各个CDN的接入点。


引入智能分发后,转发层和边缘层之间,其实是没有明显界限的,数据的分发选择节点更为自由和智能,CDN接入质量更优秀。


更多精彩分享,我们在上海等你


伴随Codec的百花争艳,WebRTC1.0定版,AI、区块链技术的快速发展,我们看到了多媒体与更多新技术的融合与实践。4月21日,我们邀请到腾讯、优酷、触宝科技、苏宁PP视频云、三体云、相芯科技的6位技术大咖一同分享多媒体开发的技术实践与未来展望。


讲师与话题:


  •  吴威麒 触宝科技音频技术专家 《实时语音通信的音频后处理技术》 

  •  曾小伟 PP视频云技术副总监 《如何使用机器学习算法优化分发链路》 

  •  沈轲轶 腾讯天天P图iOS开发组长 《iOS实时相机的GPU实践》 

  •  崔文秀 三体云产品副总裁 《实时音视频技术赋能传统行业》

  • 蔡锐涛 相芯科技图形引擎负责人  《Animoji动态表情的技术实现》

原作者: PP视频云 来自: LiveVideoStack
文章点评