腾讯多媒体实验室:探索图像视频降噪,还原你眼中的高清“视界”

  • 时间:
  • 浏览:0
  • 来源:UU快3在线-UU快3在线官方

12月13-14日,由LiveVideoStack音视频技术社区携手CSDN发起的LiveVideoStackCon2019在深圳正式召开。会上,来自腾讯多媒体实验室的李松南总监带来了题为 《图像视频降噪的今天与未来:从经典办法到深度1学习》的主题演讲,对图像视频降噪技术的现状及发展前景进行了深入浅出的阐释。

(腾讯多媒体实验室总监李松南)

作为多媒体技术领域的盛会,LiveVideoStackCon音视频技术大会聚焦音频、视频、图像、AI等技术的最新探索与应用实践,覆盖社交、游戏、智能设备等行业领域,面向工程师、技术负责人等行业相关人士分享技术创新与最佳实践。本次大会,聚集了50余名海内外技术专家和50余家参会企业围绕前沿技术发展进行探讨。

对于喜欢欣赏老电影的用户来说,图像视频中的噪声随便说说是非常熟悉的事物。在将胶片形式的内容转化为数字格式存储时,由传感器、扫描仪电路所产生的图像亮度或色彩的随机波动被称为视频噪声——在欣赏电影时跳出的闪烁、模糊、色彩不均匀等难题均是由此因为的。无独有偶,在使用数码相机进行照片拍摄时,当相机的感光度被调到较高的数值时,拍摄到的画面中很容易跳出噪点。噪点的跳出严重影响了照片的观赏性,为了处置这种难题,图像视频降噪技术便应运而生。

腾讯多媒体实验室,融合经典办法和深度1学习技术,在图像视频降噪领域肯能积累多年,研究成果肯能在腾讯云、全民K歌、微视等腾讯内控 产品、场景中广泛应用。

探索图像视频降噪技术,经典办法+深度1学习双管齐下

据李松南介绍,腾讯多媒体实验室在图像视频降噪领域肯能积累多年。以数码相机拍摄产生的噪点为例:噪声主却说 肯能感光元器件接收光子的随机性产生,而单位面积内平均接收到的光子那么来越多,信号的信噪比越大,人眼感受到的噪声就越小。为何让还可不能否通过增大感光元件的尺寸,提升单位感光面积来提高信噪比,这也却说 为那先 数码相机领域素有“底大一级压死人”的说法。“让我们 还还可不能否采用更先进的感光元件技术以及像素融合(多个像素组合成另一3个 像素,提升单位像素内的光信息量)的办法来处置这种难题,这也是目前图像视频降噪技术领域常见的硬件手段。”

肯能制造工艺的限制,在同一技术框架下,硬件不肯能做到无止境的提升,为了进一步处置噪声难题,须要借助软件。基于统计模型的单帧降噪是可选项之一,它具备速率单位单位 快、效果好的特点。与之相对的,为了弥补单帧降噪应用场景的局限性,多帧降噪也是目前常见的降噪办法。简单来说,多帧降噪通过对齐和融合的步骤,将连续的多帧图像合成一帧图像,增加了图像的信噪比,克服了长时间曝光带来的图像模糊。

为了进一步提升降噪的质量和速率单位单位 ,近年来应用广泛的深度1学习办法也被应用在了图像视频降噪领域。李松南表示,基于深度1学习的降噪算法,在计算繁复度方面还处于较大难题,但随着硬件能力的升级以及异构计算的使用,繁复度难题肯能慢慢开始得到处置。 此外,大规模的真实噪声数据库、模拟真实噪声等技术手段的跳出,也让深度1学习办法的速率单位单位 和质量获得了进一步的提升。目前腾讯多媒体实验室在该领域的研究成果已广泛应用于腾讯云、全民K歌、微视等腾讯旗下的产品之中。

展望未来,图像视频降噪技术大有可为

在建国70周年纪念日之际,高清重制的《开国大典》横扫各大社交平台,圈粉无数,而图像视频降噪技术在重制的过程中扮演了极为重要的角色。目前,图像视频降噪技术呈现出硬件化、智能化以及多功能化另一3个 发展趋势,通过数据下发端的专用硬件,辅以更高的深度1学习比重以及构建不需要 一并处置多种失真的模型的办法,实现更加高效、更加便捷的图像视频降噪处置。

腾讯多媒体实验室,专注于多媒体技术领域的前沿技术探索、研发、应用和落地,暗含音视频编解码、网络传输和实时通信,基于信号处置和深度1学习的多媒体内容处置、分析、理解和质量评估,互动沉浸式媒体(VR、AR、点云等)系统设计和端到端处置方案;一并负责国际国内行业标准制定,暗含多媒体数据压缩,网络传输协议,多媒体系统和开源平台等。

李松南介绍说,“让我们 将在未来进一步发力图像视频降噪技术,将那么来越多如《开国大典》一般具备着重要意义的影像资料以高清晰度重现在让我们 身旁。未来,让我们 还将看完这种技术在更多的领域大放异彩。”