电影——人工智能正在“攻占”的下一个领域
2019年11月13日 由 sunlei 发表
181323
0
最近,电影界有件大事——
意大利经典电影《海上钢琴师》4K修复版将于11月15日在中国内地上映。
是的没错,就是那部1998年上映的经典之作在时隔20年后经过4k技术修复焕发全新光彩惊艳回归!
该片于1998年上映后立即风靡全球,斩获美国金球奖等全球各类大奖22项,豆瓣高达9.2分,在豆瓣Top250榜单中位居第15,参与评价的人数高达92万,其中超60万人给出五星。悠扬动人的钢琴曲以及动人心弦的海上传奇故事打动着每一位观众的心。
电影保护面临的挑战
电影具有娱乐性、文化性和社会性,是一项至关重要的文化遗产,值得人类保护。但保护过程并没有那么简单。
数字电影出现的时间不过10年,在此之前,绝大多数电影都是胶片所制,而胶片电影的保存周期仅为100年。此外,很多年代久远的电影在长达半个世纪的时间内,面临着灰尘堆积、长霉斑、未能妥善保管等问题,其保存面临着巨大的挑战。因此,对老电影的修复更得提上日程。
包括欧洲委员会在内的许多组织都曾强调保护老电影文化遗产所面临的挑战以及保护的重要性。欧洲委员会指出,如果没有合适的播放设备,人们可能无法观看老电影。
修复胶片的第一个挑战是消除失真。经典电影通常以低分辨率拍摄,由于原始胶带显著老化,里面充满了噪声和裂纹。此外,将胶片转化为数字格式的过程通常会损坏胶片并导致画质受损。
但过去主要依靠人工和传统技术手段,成本高耗时长,所以只有极少数经典影片才能得到修复重生的机会,而且由于商业回报很难覆盖巨额成本。因此,修复老片往往只能是一种情怀。
但随着基于人工智能的机器学习、图像增强等技术不断发展,老电影的修复又有了人工智能(AI)新玩法,它对效率的提高、成本的降低和人力的节省,几乎是数百上千倍的变化。
在今年的上海电影节期间,4K修复版的《三毛流浪记》重新登上大银幕引发了一波“回忆杀”,这部影片是新中国成立后公映的第一部国产故事片,而让它重获新生的重要功臣正是基于AI人工智能的数字化高清修复技术。
而在刚过去不久的国庆档,作为庆祝新中国成立70周年的献礼之作——主旋律电影《决胜时刻》中,其中包含开国大典历史影像经过修复后的彩色4K画面。这是开国大典历史影像资料第一次以彩色超清画质出现在大荧幕上。
由于时隔70年,胶片质量已经变得极差,好不容易经过4k修复技术后,胶片宛若新生,这才保证了这些珍贵原声原片得以重现大荧幕。
4K修复:靠人工又脏又累
近几年,《大话西游之大圣娶亲》、《英雄本色》、《阿飞正传》等一批老港片以4K修复版的面貌重登院线,掀起了一波又一波怀旧热潮。
对大多数人来说,电影修复工作依旧是一个神秘领域。其实,4K修复版背后,需要付出巨⼤的⼈⼯成本和时间成本。
⽬前国内⼤部分的数字电影是2K的,分辨率为2048×1080。4K电影是指分辨率为4096×2160的电影,是分辨率最⾼的数字电影。
真正的“4K”数字电影,是指⽤“4K”数字摄影机拍摄,“4K”数字中间⽚流程制作,“4K”数字版发⾏并⽤“4K”数字放映机放映的数字电影。但也有的“4K”电影是由35mm胶⽚拍摄、再转成“4K”的数字格式。
“4K”修复⾸先要把胶⽚数字化扫描为分辨率4096×3112的序列帧图像⽂件,再通过“4K”数字中间⽚制作⽅式对影⽚进⾏修复。
⼀部“4K”修复电影的图像⽂件数据量约在6TB,在修复过程中很多环节需要进⾏实时(Real time)处理,因此需要先进的图像处理设备能满⾜修复需求。
⼀位从事电影修复⼯作的业内⼈⼠表示,老胶片修复是一个复杂的过程,在时间的消磨之下,胶片逐渐风化、发霉,胶片上会出现各种各样的脏点,修复者需要对脏点手动进行一帧帧的修复,整个过程重复而繁琐,这就考验着修复者的耐心和对胶片材质、内容、色彩的把握程度。
⼀个修复团队⾄少需要5⼈,每部影⽚需经过粗修、精修和校⾊等环节,其中最核⼼的是精修环节,需要将⼀部⽚⼦按⼆⼗分钟分段,⼀个⼈负责⼀段,⼈⼯⼿动逐帧修复视频图像,“以⼀部90分钟的影⽚为例,其⼤约有12万到14万帧,在⼀般难度下,每⼈每天只能修复4-5分钟;⽽如果碰到修复难度很⼤的影⽚,⼤家会进⾏‘会诊’提出综合修复意⻅,⼀个⼈⼀天有时候只能修复30秒。”
AI加持,提质提速
人工修复成本巨大,近年来,在⽼⽚修复领域,⼈⼯智能技术是⼀个从⽆到有的过程,在AI开始“⼯作”之前,它必须经过⼤量的学习来搭建模型和推演算法,学习材料主要来⾃两⽅⾯:⼀⽅⾯,对照⼈⼯修复前后的影⽚;另⼀⽅⾯, 在清晰的⽚⼦上加糊、加噪,⼈为模拟⽼⽚。通过这些基本素材,超分辨率、去噪锐化、修复污迹、⾊彩增强成为了⼈⼯智能技术助⼒⽼⽚修复的“基本技能”。人⼯智能的发展为⽼⽚修复带来了新的机会。
而这一次《海上钢琴师》采用了先进的图像超分辨率技术,分辨率和效果大幅度提升,磨损的视频图像恢复到当时拍电影时的真实效果,细节展现得淋漓尽致,光影清晰、细腻、赏心悦目。这个图像超分辨率技术黑科技到底是怎么回事,加持人工智能的视频超分又是如何实现的呢?
图像超分辨率技术
超分辨率 (Super-Resolution) 是一种通过硬件或软件的方法提高原有图像的分辨率的技术,其中,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽 (获取同一场景的多帧图像序列) 换取空间分辨率, 实现时间分辨率向空间分辨率的转换。
用通俗的话来讲,超分辨率就是将图像从下图中左边的样子变成右边的样子。即提供更多的像素点,让图像的细节更加丰满。如果从信号的角度看,那就是在原信号中补充出更多的高频成分。
除了可以对传统影视节目的视频图像进行修复重建外,这项技术在医疗图像分析、生物特征识别、视频监控与安全等实际场景中也有着广泛的应用。例如,警察可以通过超分辨率技术识别监控视频中的罪犯,医生可以通过超分辨率技术得到更清晰的病灶图像等等。
多家视频网站开挖“新宝藏”
目前除了传统电影修复机构开始探索人工智能修复电影技术外,一些互联网企业,如爱奇艺、优酷、百度等也发挥自身技术优势,加入到老旧影视作品的修复中,成为老片修复的新力量。
2006年,以单机工作室模式修复一部2小时的电影需要数十天甚至数百天的时间;而如今,通过优酷的异构计算平台,修复一部经典电影到4K级只要1小时。而优酷也启动了“经典影剧修复计划”并开设了“高清经典”专区,计划上线海内外优质电影、经典影视剧超过1000部。
爱奇艺启动了“全球经典拷贝修复计划”和“经典电视剧数字化建复工程”,计划修复和上线上百部经典国剧和数十部经典电影。而爱奇艺团队研发出的ZoomAI技术也可实现对老片修复、3D动画片插帧等,一部2小时的影片,目前利用ZoomAI处理只需要12小时即可完成修复增强并上线,而此前人工修复需要10人团队近20天的工作量。
此外,全球最著名的电影修复软件MTI也推出了基于AI的修复功能,如自动智能抖动修复、自动智能全局和局部抗闪烁、自动智能划痕修复、自动智能脏点修复等。
电影修复其本身就具备更为宏大的文化价值意义。老电影不仅仅是中国电影史的重要注脚,同时也是整个世界电影史不可或缺的一部分,是珍贵的文化财产。
从目前的国产电影市场来说,似乎大家都电影修复的关注度越来越高。与其他方法相比,通过人工智能术来修复电影可以节省时间和精力。其同时也在努力提高文化遗产保护的成功率,使老电影更具有现实意义,还由此衍生出了新的商业价值和商业模式。事实上,电影修复的未来市场,既有无限可挖掘的潜力,但也正处于艰难的开端。
总的来说,电影修复任重而道远,但不管是对行业还是对市场,都是功德无量的事情。需要更多的人认知,也需要更多的人加入到这个队伍当中去。