近年来,AI领域不断推陈出新,带动三维重建技术与时俱进。三维重建能够表达客观世界的虚拟现实,本质是利用二维投影或影像恢复物体三维信息的数学过程和计算机技术。
(资料图片仅供参考)
AI大尺度三维场景还原(图片来源:文献[1])
从远古时期的洞穴壁画,到信息化时代计算机技术的迅速发展,人类文明的进步史也是一部三维重建技术的发展史。这一技术的蓬勃发展使得人类社会在影视、教育、游戏、医疗卫生、电子商务、自动驾驶等诸多领域取得长足进步,让人们可以在虚拟世界看到现实世界的景物与色彩,人类从此有了重现世界的伟大力量。
拉斯科洞窟崖壁画,巧用岩石的凹凸变化得到立体感(图片来自网络)
到了深度学习时代,图像三维重建仍是一个重大的研究命题。
基于二维图像预测三维模型,属于计算机视觉问题,但近几年其与计算机图形学的交叉逐渐增多,界限日益模糊,多领域学者也对三维重建技术展开探索研究。
通过几何建模的方式,可以建立三维场景位置坐标和二维图像像素坐标的映射关系,从而根据像素坐标反推场景位置坐标,实现三维重建。但这种方法需要从大量不同视角拍摄图像,并进行相机标定,因此应用场景十分有限。
相机标定原理(图片来自网络)
深度学习技术可以利用先验知识,使模型获得和人类相似的猜想能力,通过观察有限张二维图片,即可学习深层次特征,进而预测出三维模型,拓展了三维重建的应用场景。
随着神经渲染的问世,三维重建获得了新的发展机遇。近几年最为火热的三维重建技术当属神经辐射场(NeRF),NeRF将神经场和体渲染技术巧妙结合:以三维空间坐标点和相机位姿作为输入,经过多层感知机即可输出当前位姿下各坐标点的颜色和密度;然后利用体渲染技术,沿着每条光线,根据密度对经过的三维坐标点按一定方式进行加权,即可计算出对应的二维图像像素值。从上面的分析不难发现,NeRF利用多层感知机模拟辐射场,无需维护一个大的三维查询表,即可获取空间中每个坐标点的颜色和密度,因此在人物、物体和场景重建等领域体现出巨大的发展潜力。
NeRF的原理(图片来源:文献[2])
已有研究在NeRF基础上进行了大量延伸,使其能够用于大场景三维重建,特别是三维城市重建。未来可以对这些技术善加利用,将城市场景分解,并分块渲染,使其具备扩展到大场景的能力,进而构建高分辨率的“沉浸式”3D全景地图,使用户查看城市场景摆脱视角的限制,实现真实场景模拟;也可在此基础上,研究向三维场景添加事物的方法,使这一技术真正具备可编辑性,并能够动态更新,实现对未知事物、事件发展的仿真预测。
Block-NeRF重现旧金山的Alamo广场社区(图片来源:文献[3])
相信随着人们的不断探索、创新,神经渲染技术能够克服训练时长和应用场景等方面的局限性,向更多领域延伸,造福人类。
参考文献
[1] Xiangli Y, Xu L, Pan X, et al. Citynerf: Building nerf at city scale[J]. arXiv preprint arXiv:2112.05504. 2021.
[2] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM. 2021, 65(1): 99-106.
[3] Tancik M, Casser V, Yan X, et al. Block-nerf: Scalable large scene neural view synthesis[C]. 2022.
标签:
这一技术的蓬勃发展使得人类社会在影视、教育、游戏、医疗卫生、电子商
1、金枝玉叶时候,张国荣38岁。2、《金枝玉叶》是东方电影发行有限公司
格隆汇6月26日丨超讯通信(603322 SH)公布2023年度向特定对象发行股票预
长实集团(01113)发布公告,于2023年6月26日该公司斥资4301 31万港元回
目前,美国对拜登和特朗普的厌恶程度已经比肩,尤其是在被问到更希望谁
停息挂账还款完还能恢复征信吗停息挂账后,征信上的不良记录会在欠
一、2022年全球多晶硅产业发展情况截止到2022年底,全球多晶硅有效产能
直播吧6月26日讯据西班牙《每日体育报》报道,巴萨需要腾出薪资空间去
更令功夫汽车费解的是,一些车企居然连这样的设计也抄。尤其是像雷克萨
原标题:牂牁江大桥主缆牵引顺利完成6月25日,纳晴高速牂牁江大桥主缆
《熟年》播播停停,停停播播,终于快要大结局了。根据剧情预告,剧版《
(记者刘小菲)上海市市场监管局今日发布儿童家具监督抽查情况。抽检结
小米通讯技术有限公司的一款智能手机产品型号为23078RKD5C已经通过了认
市场报道称,汇丰控股(00005)预计今日(6月26日)将宣布总部搬迁计划。汇
来为大家解答以上问题。野格大概喝多少会醉,野格正常人喝多少会醉这个
多肉观音莲的日常养护多肉观音莲是一种非常受欢迎的多肉植物,由于其外
“顶流”蔡徐坤商业版图:名下三家公司,出道5年拿下超30个代言,顶...
1、小光进屋后,每个盒子拿了1个【除了空盒】。2、但是仍然只是移动了
交易商品牌 产地交货地最新报价正癸醇 含量99 5%,180公斤 桶上海蓝嫣
热闹的端午节假期刚刚过去,经文化和旅游部数据中心综合测算,今年端午
交易商品牌 产地交货地最新报价无水醋酸锰 98%潍坊义信化工有限公司湖
为贯彻落实党的二十大精神,推动银行间债券市场改革开放高质量发展,优
据报道,在本月发布VisionPro混合现实头显之后,苹果正在努力完善这款
《渴望无限AskForMore》是郭富城1999年发行的一张国语EP专辑,同名主打
1、黔江颐养院黔江颐养院位于重庆黔江区重庆市黔江区正舟路南段550号(
1、你好,很高兴帮助你为你解答问题,疑问祝你生活愉快,幸福:热情、大
用料面粉500g盐5g水280克油酥材料面粉适量热油适量五香粉2勺做法步骤1
6月22日18时40分一趟满载着300余名旅客的Y152次“熊猫专列”缓缓驶出成
来为大家解答以上问题,about:blank怎么处理,about:blan很多人还不知
关于肉类食品加工厂需要什么手续的内容,包含办食品加工厂,肉类都需要