0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

WACV 2023 I从ScanNeRF到元宇宙:神经辐射场的未来

3D视觉工坊 来源:3D视觉工坊 2023-09-01 16:14 次阅读

本文提出了一个用于评估神经辐射场和神经渲染框架的真实基准思想,并设计了一个有效的流程用于快速扫描真实物体。通过不到500美元的硬件预算,在5分钟内能够收集到大约4000张被扫描物体的图像。构建了ScanNeRF数据集,其中包含多个训练、验证和测试集,用于评估不同条件下现代NeRF方法的性能。通过评估三个先进的NeRF变种,突出了它们的优点和缺点。该数据集可以在项目页面上获取,并提供在线基准测试,以促进更好的NeRF的发展。

1 前言

本文提出了元宇宙的概念以及使用神经渲染技术将真实物体转移到虚拟世界中的方法。为了实现这一目标,作者构建了一个简单而有效的物体扫描站-ScanNeRF,并生成了一种高质量的真实数据集,其中包含适用于训练和评估最先进的神经辐射场方法的图像。这个数据集为神经渲染领域的研究提供了一个基准,并探讨了如何在从单个侧面采集的图像中完全渲染一个物体的挑战。此外,作者的工作展示了使用仅500美元的简单硬件就可以构建来自真实物体的数字孪生。

作者的贡献有三个方面:

提出了一个用于收集图像的简单而有效的平台,用于训练神经渲染方法。

发布了一个包含真实物体图像的新型基准测试数据集。

评估了现代神经辐射场的性能,并突出了它们在不同情况下的优缺点。

66148874-47bf-11ee-97a6-92fbcf53809c.png

2 相关工作

本文回顾了神经辐射场(NeRF)的文献,并介绍了NeRF在新视点合成领域的最新进展。NeRF使用多层感知器(MLP)对隐式连续的体素表示进行编码,与离散表示相比具有较好的性能。然而,传统的NeRF存在训练时间长、需要为每个新场景进行独立训练以及渲染速度慢等限制。为了解决这些问题,文献中提出了一些加速NeRF训练和渲染的方法,包括预训练阶段、使用额外的深度信息、利用显式表示以及结合隐式表示等。最近的研究工作已经实现了更快速训练和渲染的NeRF变体,使得实时渲染成为可能。在此基础上,本文选择了DirectVoxGo、Plenoxels和Instant-NGP作为基准模型,建立了ScanNeRF基准测试,旨在推动神经辐射场和相关技术领域的进一步研究。与现有的基准测试相比,ScanNeRF提供了更可扩展的数据收集框架,并明确定义了测试集,避免了潜在的偏见结果。

3 关于神经辐射场的背景

神经辐射场(NeRF)通过将三维场景编码成隐式表示,在视觉领域中广泛应用。通过学习多层感知机(MLP)来建立隐式映射,其中包括中间的MLP(pos)用于推断密度和嵌入,浅层的MLP(rgb)用于预测颜色。为了更准确地表示底层函数的高频部分,使用基于傅里叶特征的位置编码。渲染图像时,根据光学模型和体绘制渲染,通过累计透射量和数值积分来计算像素颜色。训练NeRF模型时,通过最小化光度误差平方来优化模型参数

4 ScanNeRF基准测试

在本节中,作者描述了ScanNeRF框架的硬件和软件组成部分。作者首先介绍我们的采集平台,然后描述了用于选择最终图像的后处理步骤,以及用于提取物体的掩膜策略。最后,作者强调了生成数据集的整体组织方式。

4.1 扫描站设置

扫描站使用Lego Mindstorm套件构建,配备了OpenCV Oak-D Lite相机。通过旋转底座和机械臂的两个自由度,可以轻松地收集扫描物体周围的图像。相机姿态计算基于ChArUco标记和OpenCV库的功能实现。扫描过程中,相机以30fps的频率录制1440×1080分辨率的图像。整个扫描站通过Lego Mindstorms桌面应用程序的API进行Python编程,并通过蓝牙连接进行控制。扫描站的硬件预算低于500美元。

661c7cdc-47bf-11ee-97a6-92fbcf53809c.png

4.2 数据集过滤

数据集过滤的过程通过计算相机姿态的方位角来检测基座的旋转,并丢弃方位角与前一个角度之差小于1.15°的图像。这样可以有效地去除在臂下降期间收集的图像,从而保留只在臂不移动且基座旋转时获取的图像。

6641cf46-47bf-11ee-97a6-92fbcf53809c.png

4.3 背景遮罩

为了剔除不一致的背景并获得只包含扫描物体的图像,作者采用背景遮罩的方法。通过使用Instant-NGP神经渲染框架,作者训练并渲染了与原始图像相同姿态的新图像。在渲染过程中,作者使用渲染体积来裁剪不一致的背景,并根据像素的alpha值生成遮罩。这些遮罩被应用于原始图像,移除了背景和扫描站基座,使最终的图像中只保留了物体。

664f6958-47bf-11ee-97a6-92fbcf53809c.png

4.4 数据集的组织和划分

在数据集组织和划分阶段,作者将获取的图像序列划分为Train、Val和Test三个宏划分,分别包含不同数量的图像。作者通过Farthest Point Sampling算法在物体上方半球均匀采样图像,并将Train宏划分的图像进一步细分为三个训练子划分,以探究不同图像数量对NeRF算法性能的影响。同时,作者还构建了八个附加的子划分,每个子划分包含在特定区域更密集采集的图像,并从整个半球分布的位置上随机采样一小部分图像。这些子划分的设计旨在研究在训练集具有不均匀视角空间分布时不同NeRF算法的表现,并以此促进未来的研究。

666b1392-47bf-11ee-97a6-92fbcf53809c.png

4.5 扫描时间和物体数量

所述流程允许快速扫描大量物体。一个完整的获取周期包括收集约9000张图像,并经过过滤步骤后减少至约4000张。当前的ScanNeRF数据集包括35个真实物体,用于评估现代NeRF框架的性能。未来计划扩大数据集以包含数百个甚至数千个物体,并通过基准网站共享Train/Val拆分。

5 实验

在本节中,作者对作者的创新ScanNeRF数据集进行了实验。具体而言,作者在作者设计的拆分数据上运行了三种现代高效的NeRF框架,以研究它们在不同密度和训练图像数量的情况下的性能表现,以及它们在仅从扫描对象周围的特定区域密集获取图像时的行为。

5.1 评估的框架和设置

在本节中,我们对我们的创新ScanNeRF数据集进行了实验。我们评估了三种现代高效的NeRF框架:DVGO、Plenoxels和Instant-NGP。每种方法都具有不同的训练和渲染速度。我们使用每个框架的官方代码进行实验,并保持默认的超参数设置。在评估中,我们训练了420个实例,并使用峰值信噪比(PSNR)作为评估指标来衡量渲染图像的质量。

5.2 均匀分布采集的实验

在均匀分布采集的实验中,作者训练和评估了三种方法:DVGO、Plenoxels和Instant-NGP。当使用1000张图像进行训练时,所有三种NeRF变体的性能都相当出色,达到了超过30的PSNR。随着训练图像密度逐渐减少到500、250和100,三个框架的性能出现了不同的变化。Instant-NGP几乎不受训练图像减少的影响,DVGO的PSNR有轻微下降,而Plenoxels在仅用100张图像进行训练时出现了最大的渲染质量下降。根据实验结果,Instant-NGP在训练和渲染速度、渲染质量以及对训练图像数量减少的鲁棒性方面表现最佳。这里也推荐「3D视觉工坊」新课程《深度剖析面向机器人领域的3D激光SLAM技术原理、代码与实战》。

667fcc24-47bf-11ee-97a6-92fbcf53809c.png

66c342c4-47bf-11ee-97a6-92fbcf53809c.png

5.3 对密集局部采集的实验

本实验主要针对密集局部采集进行了实验。实验结果显示,三种NeRF算法在训练和测试相同分布位置的子集时表现良好,但在来自不同密集采集子集的测试中,它们的表现有所不同。其中,Plenoxels在这种设置下表现不稳定,而DVGO和Instant-NGP相对更具鲁棒性。作者推测,这一差异可能是因为前两种方法中的MLP组件能够从均匀分布的样本中学到强烈的偏差,从而帮助它们推广到几乎未见过的半球区域。

6 结论

本文介绍了ScanNeRF作为一个可伸缩的神经辐射场基准和神经渲染框架的评估平台。通过ScanNeRF的特殊划分,作者在不同设置下研究了现代NeRF框架的潜力,并给研究社区提出了一些新的挑战。我们相信ScanNeRF将促进神经辐射场框架的研究。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • CAN
    CAN
    +关注

    关注

    57

    文章

    2744

    浏览量

    463662
  • 算法
    +关注

    关注

    23

    文章

    4610

    浏览量

    92860
  • 图像
    +关注

    关注

    2

    文章

    1084

    浏览量

    40459
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24696
  • 元宇宙
    +关注

    关注

    13

    文章

    1395

    浏览量

    11418

原文标题:WACV 2023 I 从ScanNeRF到元宇宙:神经辐射场的未来

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    宇宙,数字新世界

    宇宙
    电子学习
    发布于 :2023年02月08日 12:35:35

    首届META2021宇宙大会暨颁奖盛典上海引爆

    。 META2021大会概述META宇宙探索大会全称“META2021宇宙产业发展探索大会”META探索大会以 “启
    发表于 11-25 11:03

    首届META2021宇宙大会暨颁奖盛典上海引爆

    全称“META2021宇宙产业发展探索大会”META探索大会以 “启宇宙重构未来”为主题,邀请产业链企业及经济金融界投资界大咖与权威专家
    发表于 11-25 11:08

    大时代、大融合、大未来--META宇宙颁奖盛典

    大时代、大融合、大未来--META宇宙颁奖盛典META宇宙元年颁奖盛典META2021 Metaverse First Year Awa
    发表于 12-06 17:30

    宇宙有可能在未来实现吗

    宇宙有可能在未来实现吗?宇宙有可能在未来实现。
    的头像 发表于 11-02 15:12 3972次阅读

    宇宙是骗局还是人类未来

    2021年宇宙迎来了热潮,宇宙的在捧热的同时,也招来了外界的质疑,宇宙是到底是骗局还是人类
    的头像 发表于 11-02 16:16 1.6w次阅读

    宇宙可以实现吗

    宇宙把人们科幻带到现实,又从现实带回了科幻,随着宇宙的不断发展,未来人们可以在这个虚拟的
    的头像 发表于 11-03 14:24 2990次阅读

    宇宙是智商税还是真未来

    Facebook把公司名称改为“Meta”后,又有更多的人知道了宇宙,A股宇宙板块也大幅飙涨,对于
    的头像 发表于 11-04 15:40 2523次阅读

    央视解读宇宙 宇宙的价值与未来

    今年下半年以来,宇宙概念大火,更是有央视财经报道让“宇宙”火台面上,
    的头像 发表于 11-20 10:24 4.4w次阅读

    2023深圳国际宇宙展览会

    2023深圳国际宇宙展览会 宇宙-创见未来 时间:202
    的头像 发表于 12-12 10:47 1114次阅读

    互联网数字经济,宇宙在商业领域有哪些应用?

    互联网数字经济,宇宙冲击是当前互联网流量世界性的天花板后的发展新探索,它打通了互联网、智能硬件、以及流量新的想象空间,也集合了互联网+硬件的发展
    的头像 发表于 12-22 15:38 803次阅读

    【洞见芯趋势】2023年,宇宙正迎来革命!

    迅速转向落地! 2023伊始,宇宙又有了可讲的新故事。工信部最近表示,2023年将落实落细已出台的各项政策和接续措施,加快谋划布局
    的头像 发表于 02-10 23:10 830次阅读

    NeRF2NeRF神经辐射的配对配准介绍

    我们介绍了一种神经成对配准的技术,它扩展了基于优化的经典局部配准(即ICP)以操作神经辐射(NeRF)。
    的头像 发表于 03-31 16:49 901次阅读

    宇宙深度解析—未来未来-风口还是泡沫

    宇宙随着VR的高速发展,也处于逐步上升的阶段,宇宙未来是风口还是泡沫?
    发表于 02-15 10:39 231次下载

    基于几何分析的神经辐射编辑方法

    神经辐射作为近期一个广受关注的隐式表征方法,能合成照片级真实的多视角图像。但因为其隐式建模的性质,用户难以直观编辑神经辐射
    的头像 发表于 11-20 16:56 582次阅读
    基于几何分析的<b class='flag-5'>神经</b><b class='flag-5'>辐射</b><b class='flag-5'>场</b>编辑方法