| 新闻中心 | 合作共赢,崇德铸品,卓越恒久

facebook:把握好三维世界,才能把握好ar/vr的未来-凯发app

t
2019-11-03 浏览:2304次 来源:芬莱科技
导读:随着场景形态逐渐向三维转变,届时将会迎来一个高度逼真的虚拟世界,而三维内容的理解也将变得更为重要。

  近期正在韩国首尔国际计算机视觉大会(iccv)上,一大波的ai研究继而公布,facebook计划发表40多篇论文,其中我们关注到2d照片下三维场景重建与内容理解,等等3d图像分析的研究。

  这些有什么作用呢,我们知道随着5g技术和千兆宽带的普及,届时的互联网媒介形式势必也会迎来改变,其中以ar/vr体验的三维形态的媒体内容被看作重点方向。

  随着场景形态逐渐向三维转变,届时将会迎来一个高度逼真的虚拟世界,而三维内容的理解也将变得更为重要。例如现在的ai技术可以很好的识别2d照片/视频中的物体、动作等等,而到了三维场景中又会迎来新的玩法。

  facebook ai研究院今天发布的一篇博客中,着重提到了其在3d内容理解上的努力。

  文章中提到,想要了解周围的世界的前提是,ai必须能够理解三维视觉场景,这种需求不仅仅体现在机器人、导航、ar/vr等方面,甚至在2d照片/视频中也得能够正确识别出其中的一个杯子的三维形状等等。

  以下的几项研究,正在以不同但互补的方式来推进三维场景解析技术的发展。

  1,mesh r-cnn,一种可以精准预测现实环境中2d图像中物体的3d形状的框架,其可以检测复杂的对象,比如椅子腿儿、被遮挡的家具等;

  2,c3dpo,一种在2d关键点注释中,提取出可变性对象的3d模型的方法,已用于14个类别的对象,通过2d关键点标注实现,无3d标注信息;

  3,通过新方法学习图像像素与3d形状之间的关联,大大降低对注释训练的依赖,从而更接近可以实现更多种类对象3d重建的自我监督系统;

  4,votenet技术,可在lidar或其它3d传感器输入可用时,进行对象检测,该系统完全基于3d点云技术,精度更高。

  如何更好的解析出3d形状

  包括mask r-cnn在内的很多图像解析ai框架,往往是在2d环境中进行工作,在3d环境下可能并不适用。不过,凭借2d环境中的感知技术作为积累,facebook重新设计了一个3d对象重建的ai模型。

  该模型的特点是可在现实的场景图片中去预测3d对象的形状,而这其中的挑战在于光学部分,例如:是否有遮挡,是否有杂波以及其它拓扑的对象。

  为了应对挑战,首先通过网格预测分支加强mask r-cnn在2d对象分割系统,并构建totch3d(pytorch库)从而实现:mesh r-cnn,其通过mask r-cnn进行对象的检测和分类。然后通过新型网络预测模型推测3d形状,该预测包含体素预测和网格细化共同构成。

  最后通过detectron2完成整套框架的结构,即:输入rgb图像--检测物体--预测3d形状的过程。

  据悉,facebook的新型方法支持成对图像和网格的完全监督学习预测3d形状,为了进行训练,facebook还是用10000对图像和网格组成的pix3d数据集,这个数据集比其它训练数据集(通常10万个图像、需进行标注)要小很多。

  最终在两个数据集上进行mesh r-cnn的评估,效果比较理想。在pix3d数据集上,能够检测所有类别对象,并能预测出被遮挡的家具的完整形状;而在shapnet数据集上,体素预测和网格细化的混合法比以前要好7%。

  准确预测、并重建现实世界中无约束的场景形状,无疑是增强未来arvr等其它类似体验的重要工作。联想到facebook在今年oc6公布的共享空间和3d重建体验,以及未来面向ar和机器视觉等众多体验的合集livemap,这些都是技术的基础。

  尽管如此,和2d图像相比,3d图像在收集注释数据的工作上要复杂得多,且更为耗时,这也是3d形状预测数据集比2d对应数据集进展要落后的原因,而接下来facebook也在探索更多不同的方法,利用监督学习和自我监督学习来重建3d对象。

  使用2d关键点重建3d对象类别

  对于那些无法使用网格和图像训练、且无需完全重建静态对象/场景的案例,facebook开发了一种新的代替方案:c3dpo,其通过大量丰富的2d关键节点数据,进行监督学习实现更好的重建结果。而c3dpo以弱监督的方式解析出3d几何形状,且被证明适合大规模部署。

  其中特定部分(例如人体关键、鸟翅膀)的2d关键点,成为了该方法中重新构建对象几何形状、变形或视点变化的线索。这些3d关键点利用价值也很高,例如在vr中创建逼真的面部和全身网格模型时。

  简单来讲,c3dpo是一种能重建包括数十万具有上千个2d关键点的数据集方法,并且针对三种不同的数据集、14种以上的非刚性物体类别,进行精度重建。另外,和mesh r-cnn类似,c3dpo同样支持那些有遮挡或部分缺失图像。

  而c3dpo模型还具备两个创新,一是,在给定一组单眼2d关键点的情况下,c3dpo将以标准方向预测相机视点的参数和3d关键点位置;二是,facebook提出一个新的正则化技术,其包括与3d重建网络模型共同学习的第二个辅助深度模型,它解决了因分解3d视点和形状带来的冲突。正是基于这两项创新,才是c3dpo的方法比传统的数据统计模型表现更好。

  根据facebook描述,这种3d模型构建在以前是无法实现的,主要由于此前基于矩阵式分解的方法有很多限制,与c3dpo采用的深度网络模型不同,其能够“小规模”运行。为了解决3d重建带来的变形问题,此前往往通过同一时间多张图像合成解决,这对硬件要求更高,而c3dpo则可以在硬件无法进行3d拍摄(例如飞机等体型特别大的物体)的情况下实现3d重建。

  另外还有从图像集学习图形像素与形状的映射关系,以及提升3d系统中对象检测能力的两个论文本文不再解读,感兴趣可阅读原文了解。

  总而言之,3d计算机视觉领域还有很多值得探究的领域,还有很多问题尚未被解决,还需要像此前进行2d计算机视觉探索那样继续前行。

  随着数字世界的不断推进,我们将会转向使用3d照片、ar、vr等技术,因此未来需要更准确的理解场景中对象、交互动作等一系列复杂的问题。

  facebook表示:能够开发出向人类一样理解现实世界,并与之互动的ai系统是其长期目标。诚然,这就需要不断缩小物理空间和数字化的虚拟空间之间的隔阂与距离,而在3d视觉方面就还有很多工作需要大家共同努力。

(免责声明:该文章转载自芬莱科技,链接地址:  本站在转载文章时均注明来源出处,转载目的在于传递更多信息,未用于商业用途。如因本站的文章、图片等在内容、凯发app的版权或其它方面存在问题或异议,请与本站联系,本站将作妥善处理。)


  • 权利的游戏番外篇 | hbo推出“夜王”ar效果滤镜

    2017-09-01
    一点想大家对这句话应该不是很陌生吧,此句话的出处来自于最近热播的美剧《权利的游戏》第七部。每次人们说这句话,就带了点阴险的诡异的语气。的确如此,冬天对马丁创造的这个世界,是很危险的。不错,也许大家已经猜到了,一点今天给大家讲的有可能是和权利的游戏有...
  • 如果你没试过vr设备,看完我们老大的反应应该就会“吃土“了!

    2017-09-01
    也许,没有体验过vr的人根本不明白一个简简单单的vr头戴究竟有多沉浸?有些人始终不明白为什么带上那个眼睛,竟然能摔倒,简直不可思议?有那么真实吗?纳尼?纳尼?why? 来来来,下面一系列图片看我公司老大是如何沉浸在其中不能自拔的。...
  • vr与医疗的完美结合,15种新应用被发挥到极致

    2017-09-01
    说起vr,大多数人的刻板印象仅限于游戏,可是各位有所不知,vr可以应用在各行各业当中,vr与医疗结合也能碰撞出激情的火花。 在今年五月份,kalorama信息咨询公司的报告称,vr和ar医疗市场从2012年的5.25亿美元增长到2017年的月9.76亿美元。 ...
  • 教育部发布《2017年中国互联网学习白皮书》 vr/ar促进教育创新进程加速

    2018-04-13
    vr/ar促进教育创新进程加速 《2017年中国互联网学习白皮书》(以下简称“白皮书”)正式公布,由教育部教育管理信息中心、数字学习与教育公共服务教育部工程研究中心、百度教育共同编著。针对2017年互联网学习,白皮书公布了...
  • 我们距离《头号玩家》里的虚拟幻境还有多远?

    2018-04-02
    电影《头号玩家》故事发生在离我们并不遥远的2045年,世界经济濒临崩溃,百业凋零,印象中唯一能拿的出手的高科技只剩下虚拟现实vr和无人机。人们也逐渐对残酷的现实不再抱有希望,而虚拟现实游戏成了无所事事的人们唯一的精神寄托。 ...
  • 大众集团通过vr培训一万名员工

    2018-03-30
    在2017年初,大众集团就已经部署了vr平台“volkswagen digital reality hub group”,以帮助奥迪,西亚特,斯柯达和大众品牌的员工进行协作。现在,这家公司表示他们正准备进一步深入应用虚拟现实,利用与innoactive合作开发的30多个vr培训...

全国电话:400-0471-910 

座  机:0471-3481343     

手  机(微信):13789418942   

公众号

全国电话:400-0471-910 

座  机:0471-3481343     

手  机(微信):13789418942   

网址:www.ceyee.cn


地址:

内蒙古自治区呼和浩特市玉泉区南二环路138号玉泉大厦4层内蒙古策义vr 5g产业创新基地


策义  策义集团  策义科技 策义科技集团  内蒙古策义科技集团股份有限公司

凯发app的版权所有:内蒙古策义科技集团股份有限公司   网站地图 :