当前位置:首页 > 嵌入式 > 嵌入式动态
[导读]新智元导读:LeCun曾在演讲中提到,2016年深度学习领域最让他兴奋的技术莫过于对抗学习,而无监督学习一直都是人工智能研究者孜孜追求的“终极目标”之一。MIT

新智元导读:LeCun曾在演讲中提到,2016年深度学习领域最让他兴奋的技术莫过于对抗学习,而无监督学习一直都是人工智能研究者孜孜追求的“终极目标”之一。MIT 计算机科学和人工智能实验室的研究员们在本年度的NIPS上提交了结合对抗学习和无监督学习两种方法的研究——让计算机在观看了200万条视频后自动“创作”视频内容,结果非常逼真。研究所开发的深度学习神经网络也可以直接用到现有的图片和视频中,把静态图片变成动态视频,并且对人类的动作具有一定的判断和预测能力。

MIT 计算机科学和人工智能实验室(CSAIL) 的研究员开发了一个深度学习算法,能够自动生成视频,并预测出接下来的视频内容。

研究成果论文将在下周在巴塞罗那举行的 NIPS ( Conference on Neural Information Processing Systems )上发表。CSAIL 的研究团队让该算法观看了200万条视频,这些视频加起来如果要回放的话,需要2年的时间才能播完。

视频包含了日常生活的常见场景,以让机器更好地适应正常的人类交流行为。更重要的是,这些视频是“野生”的,也就是说,它们都是非标签的。简单地说,就是研究员不会给算法提供理解视频内容的任何线索。

在这一视频数据集的基础上,算法将基于200万条视频中获得的观察,尝试从零开始生成视频,这和人类创作视频的步骤是一样的 。随后,生成的视频会被填入另一个深度学习算法中,新的算法负责判断哪些视频是机器生成的,哪些是“真实”的。这种训练机器的方法叫对抗式学习(adversarial learning)。

研究使用的神经网络工作原理

计算机视觉研究领域中,许多研究者都在攻克类似的问题,其中就包括MIT的教授 Bill Freeman,他在”视觉动态“(visual dynamics)领域的工作也能提前创造出视频中下一帧。但是,他的模型聚焦于推断性的视频,Torralba 的视频能够生成全新的视频,这些视频内容此前是从未讲过的。

 

图来自 : Carl Vondrick, MIT CSAIL

此前的系统都是一帧一帧地创建场景,这会带来巨大的失误概率,这项研究聚焦于一次处理整个场景,算法每秒生成32帧图像。”一帧一帧地创建场景,意味着信息是被分成很多块的“,Vondrick 说,”我们采用同时预测所有帧的方法。“

当然,一次生成所有的帧也有缺点:在变得更精确的同时,长视频中的计算机模型会变得更加复杂。

为了创建出多帧的效果,研究者教会模型在不受背景的影响下生成前景,然后,把对象放到场景中,让模型学习哪一个物体是移动的,哪一个不动。团队使用了”对抗学习“的方法,在多次尝试后,生成器学会如何”欺骗“区分器(discriminator)。

 

“双流架构”,生成视频更逼真

”在这一模型的早期原型中,我们的发现是,生成器(也就是神经网络)会改变背景或者在背景中加入异常的动态图片,来尝试欺骗其他的网络“,CSAIL 博士候选人、论文第一作者Carl Vondrick说,”我们需要告诉模型一个概念,那就是现实世界在大多数情况下都是静态的。“

为了改正这一问题,Vondrick 和他的同事创造了一个“双流架构”(two-stream architecture),这一架构会强迫生成的网络在前景中的对象移动时,对静态的背景进行渲染。

这种”双流架构“模型生成许多更加逼真的视频。算法生成的视频是64X64分辨率的,包含了32帧(标准的电影是每秒24帧,这意味着算法生成的视频有1秒~1.5秒),视频描绘的内容包括沙滩、火车站以及新生儿的脸(下图,这相当吓人)。

 

虽然听起来从零开始生成几秒的视频并没有多了不起,但是这比起此前的研究已经有了显著的进步,此前使用深度学习框架,只能生成一个视频中的几帧,并且在内容上,也会受到更为严格的参数限制。

让机器生成视频遇到的一个主要难点在于,视频中的物体是动态的,特别是人物,常常被渲染成模糊的一团,虽然研究者都在坚持:”我们的模型有潜力生成非常好的动态场景“。

确实,这种场景是非常值得赞叹的。研究者向亚马逊的 Mechanical Turk 的工作人员展示了一段由机器生成的视频和原来”真“的视频,向他们求证哪一段视频更为真实,结果,有20%的人选择了机器生成的视频。

 

团队采用了两个神经网络,互相对抗,其中一个尝试欺骗另一个,让它认为自己生成的视频是”真“的。图:MIT CSAIL

除了生成原始视频,这一研究另一个亮眼的成果是能在已有的视频和照片上进行应用。当研究者把深度学习算法应用到一个静态的帧中,算法就能够识别出照片中的物体,把它们制作成32帧的动图,生成”非常合乎常理“的动作。Vondrick说,根据自己的了解,这是首次实现让机器从静态图片中生成多帧的视频。

这种预测对象或人的运动的能力对于未来机器融入现实世界是至关重要的,因为这将允许机器不采取可能伤害人的动作,或者帮助人们不伤害自己。根据Vondrick的说法,这一研究成果对无人监督的机器学习也有促进作用,因为这种类型的机器视觉算法接收的是来自未标记视频的所有输入数据。

如果机器真的想要善于识别和分类对象,它们将需要能够在没有标签数据的情况下这样做。

但是对于Vondrick来说,他的研究中最令人兴奋的可能性之一却跟科学或现实世界没什么关系。他纯粹是想让机器创作一段视频。

”从某种程度上来说,我对让机器自己创作一段视频或者电视节目非常痴迷“,Vondrick 说,“我们只生成了一秒钟的视频,但随着我们的进步,也许可以生成几分钟的视频,讲一个连贯的故事。我们现在还做不到,但我认为我们迈出了第一步。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: 驱动电源

在工业自动化蓬勃发展的当下,工业电机作为核心动力设备,其驱动电源的性能直接关系到整个系统的稳定性和可靠性。其中,反电动势抑制与过流保护是驱动电源设计中至关重要的两个环节,集成化方案的设计成为提升电机驱动性能的关键。

关键字: 工业电机 驱动电源

LED 驱动电源作为 LED 照明系统的 “心脏”,其稳定性直接决定了整个照明设备的使用寿命。然而,在实际应用中,LED 驱动电源易损坏的问题却十分常见,不仅增加了维护成本,还影响了用户体验。要解决这一问题,需从设计、生...

关键字: 驱动电源 照明系统 散热

根据LED驱动电源的公式,电感内电流波动大小和电感值成反比,输出纹波和输出电容值成反比。所以加大电感值和输出电容值可以减小纹波。

关键字: LED 设计 驱动电源

电动汽车(EV)作为新能源汽车的重要代表,正逐渐成为全球汽车产业的重要发展方向。电动汽车的核心技术之一是电机驱动控制系统,而绝缘栅双极型晶体管(IGBT)作为电机驱动系统中的关键元件,其性能直接影响到电动汽车的动力性能和...

关键字: 电动汽车 新能源 驱动电源

在现代城市建设中,街道及停车场照明作为基础设施的重要组成部分,其质量和效率直接关系到城市的公共安全、居民生活质量和能源利用效率。随着科技的进步,高亮度白光发光二极管(LED)因其独特的优势逐渐取代传统光源,成为大功率区域...

关键字: 发光二极管 驱动电源 LED

LED通用照明设计工程师会遇到许多挑战,如功率密度、功率因数校正(PFC)、空间受限和可靠性等。

关键字: LED 驱动电源 功率因数校正

在LED照明技术日益普及的今天,LED驱动电源的电磁干扰(EMI)问题成为了一个不可忽视的挑战。电磁干扰不仅会影响LED灯具的正常工作,还可能对周围电子设备造成不利影响,甚至引发系统故障。因此,采取有效的硬件措施来解决L...

关键字: LED照明技术 电磁干扰 驱动电源

开关电源具有效率高的特性,而且开关电源的变压器体积比串联稳压型电源的要小得多,电源电路比较整洁,整机重量也有所下降,所以,现在的LED驱动电源

关键字: LED 驱动电源 开关电源

LED驱动电源是把电源供应转换为特定的电压电流以驱动LED发光的电压转换器,通常情况下:LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: LED 隧道灯 驱动电源
关闭