工程案例

客户案例

英伟达馋哭建模师!投喂随意视频直出3D模型华人一作登CVPR2023

来源:极速体育nba在线直播吧    发布时间:2024-01-22 08:30:13

  不只雕塑的每一个褶皱都能拿捏住,更杂乱的修建场景3D重建,相同靠一个视频就能处理:

  这个新AI名叫Neuralangelo,来自英伟达研讨院和约翰霍普金斯大学。

  论文刚一宣布就招引了全场网友的目光,让人直呼:这是直接发明新世界的节奏。

  现在,相关论文现已当选CVPR 2023。更多技能细节,咱们一同接着往下看~

  这篇论文选用的架构名叫Neuralangelo,一个听起来有点像闻名雕塑家米开朗基罗(Michelangelo)的姓名。

  其间,SDF即符号间隔函数(Signed Distance Function),它的实质便是将3D模型划出一个外表,然后用数值标明每个点间隔模型的实践间隔,负数指点在外表内侧,正数指点在外表外侧:

  根据SDF的神经烘托技能,则是选用神经网络(如MLP)对SDF进行编码,来对物体标明上进行一个近似复原。

  多分辨率哈希编码是一种特别的编码方法,能用很小的网络下降核算量,一起保证生成的质量不下降。

  值得注意的是,这儿选用了数值梯度而不是解析梯度,这样根据SDF生成算法做出来的3D模型外表愈加滑润,不会呈现高低不平的状况:

  论文还额定对比了一下解析梯度和数值梯度的状况,从图中来看,数值梯度全体上能获得更滑润的修建作用:

  随后,便是逐步减小数值梯度的步长(step size)、选用分辨率更高的哈希表,一步一步提高模型的精密度,复原修建的细节:

  DTU数据集包括128个场景,这篇论文详细选用了其间的15个场景,每个场景包括49~64张由机器人拍照的RGB图画。

  其间,中级数据集包括雕塑、大型车辆和住所规划的修建;高档数据集则包括从内部成像的大型室内场景、以及具有杂乱几许布局和相机轨道的大型室外场景:

  详细到生成细节上,Neuralangelo比较NeuS和NeuralWarp等“前SOTA”模型,在DTU数据集上展示出了十分精确的3D细节生成:

  在F1-Score评价和图画质量PSNR评价中,Neuralangelo基本上悉数获得了最好的作用:

  论文一作李赵硕(Zhaoshuo Li),本科毕业于不列颠哥伦比亚大学,现在是约翰霍普金斯大学的博士生,师从Mathias Unberath和Russell Taylor。

  Russell Taylor是医疗机器人范畴权威,曾掌管研制全球首台骨科手术机器人ROBDOC。

  而李赵硕自己,本科专业也是机器人工程,现在算是小小跨界,研讨重点在图画重建3D结构上。

  Neuralangelo是李赵硕在英伟达实习期间的作业。此前,他还曾在Meta的Reality Labs实习(便是小扎All in 元世界的中心部分)。