当前位置:首页 > 嵌入式 > Socionext Inc.
[导读]SoC设计与应用技术领导厂商Socionext Inc.(以下“Socionext”,或“公司”)宣布,联合大阪大学数据能力科学研究所长原教授研究小组共同开发新型深度学习算法。

SoC设计与应用技术领导厂商Socionext Inc.(以下“Socionext”,或“公司”)宣布,联合大阪大学数据能力科学研究所长原教授研究小组共同开发新型深度学习算法,该算法无需制作庞大的数据集,只需通过融合多个模型便可在极度弱光的条件下进行精准检测物体及图像识别。Socionext笹川幸宏先生和大阪大学长原教授在8月23日至28日(英国夏令时间)举办的欧洲计算机视觉国际会议(ECCV 2020)上报告了这一研究成果。

近年来尽管计算机视觉技术取得了飞速发展,但在低照度环境下车载摄像头、安防系统等获取的图像质量仍不理想,图像辨识性能较差。不断提升低照度环境下图像识别性能依旧是目前计算机视觉技术面临的主要课题之一。CVPR2018中一篇名为《Learning to See in the Dark》[1]的论文曾介绍过利用图像传感器的RAW图像数据的深度学习算法,但这种算法需要制作超过200,000张图像和150多万个批注 [2]数据集才能进行端到端学习,既费时又费钱,难以实现商业化落地(如下图1)。

Socionext联手大阪大学合作开发新型深度学习算法

图1:《Learning to See in the Dark》及RAW 图像识别课题

为解决上述课题,Socionext与大阪大学联合研究团队通过迁移学习(Transfer Learning)和知识蒸馏(Knowledge Distillation)等机器学习方法,提出采用领域自适应(Domain Adaptation)的学习方法,即利用现有数据集来提升目标域模型的性能,具体内容如下(如图2):

(1)使用现有数据集构建推理模型;

(2)通过迁移学习从上述推理模型中提取知识;

(3)利用Glue layer合并模型;

(4)通过知识蒸馏建立并生成模型。

Socionext联手大阪大学合作开发新型深度学习算法

图2:本次开发的领域适应方法(Domain Adaptation Method)

此外,结合领域自适应方法和物体检测YOLO模型[3],并利用在极端弱光条件下拍摄的RAW图像还可构建“YOLO in the Dark”检测模型。YOLO in the Dark模型可仅通过现有数据集实现对RAW图像的对象检测模型的学习。针对那些通过使用现有YOLO模型,校正图像亮度后仍无法检测到图像的(如下图a),则可以通过直接识别RAW图像确认到物体被正常检测(如下图b)。同时测试结果发现,YOLO in the Dark模型识别处理时所需的处理量约为常规模型组合(如下图c)的一半左右。

Socionext联手大阪大学合作开发新型深度学习算法

图3:《YOLO in the Dark》效果图

本次利用领域自适应法所开发的“直接识别RAW图像”可不仅应用于极端黑暗条件下的物体检测,还可应用于车载摄像头、安防系统和工业等多个领域。未来,Socionext还计划将该技术整合到公司自主研发的图像信号处理器(ISP)中开发下一代SoC,并基于此类SoC开发全新摄像系统,进一步提升公司产品性能,助力产业再升级。


欧洲计算机视觉国际会议(ECCV 2020)

日期:8月23~28日(英国夏令时间)

地点:线上会议

演讲主题:YOLO in the Dark - Domain Adaptation Method for Merging Multiple Models -

演讲人:Socionext Inc. 笹川幸宏先生

            大阪大学 长原教授

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

摘要:在智能电网发展的大背景下,目前的电网生产安监管理模式已经不适应智能电网的要求,安监管理模式和方式的创新迫在眉睫。鉴于此,首先收集电网违规场景图片构建VoC数据集,利用LabelImg软件对数据集进行标注:然后采用Y...

关键字: 深度学习算法 目标识别 电力安全监察

实现“长距离”、“高速通信”、“适合移动物体”的高性能无线通信

关键字: socionext techsor 通信芯片

SoC设计与应用技术领导厂商Socionext Inc.(以下“Socionext”)宣布,成功开发了一款基于Amazon Web Services(以下“AWS”)的高速、高画质视频编码器“H.264 Encoder...

关键字: socionext 视频编码器 aws

SoC设计与应用技术领导厂商Socionext Inc.(以下“Socionext”)宣布成功开发了一款HDMI模块“cecTalker”。

关键字: hdmi socionext cectalker

  随着时代的进步。人们对自己的生活质量有了更的要求,对多媒体播放机也质量也有所提高。Socionext推出了可支持8K/4K播放的多媒体播放机,展现了8K超高精细度的影像魅力。   全

关键字: 8k socionext

先进视觉影像SoC应用技术领导厂商Socionext Inc.(以下“公司”)宣布,将携其最新广播和内容服务解决方案,参加位于北京中国国际展览中心举办的中国国际广播电视信

关键字: socionext 视觉影像

边缘端的图像和视觉处理需要AI的加持,而受限于边缘端资源的紧张,如何实现高性能低功耗的AI应用是一个难题...

关键字: socionext 人工智能 图像处理 边缘计算 技术专访

受日本新能源与产业技术综合开发机构(NEDO)委托,Socionext参与了以《先进的低功耗AI-Edge LSI技术开发》为课题的项目研究,成功完成了结合量化DNN技术的芯片测试,并确认了其运行和性能。

关键字: socionext 低功耗ai芯片

日本横滨,2019年7月19日 ---SoC 设计与应用技术领导厂商Socionext Inc.(以下“公司”)宣布推出全新8K视频编码器“e8”,产品适用于8K视频直播系统,满足日益增长的超高清视频

关键字: socionext

SoC 设计与应用技术领导厂商Socionext Inc.(以下“公司”)将于2019年8月15-17日在上海新国际展览中心展示其在汽车智能驾舱领域的最新创新方案,展台位于E7号馆V059号展位。

关键字: 2019 socionext 智能驾舱 ciaie
关闭
关闭