眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷

「唯一真正的探索之旅，不是去拜访陌生的土地，而是透过别人的眼睛来观察宇宙。」——马塞尔·普鲁斯特

通过别人的眼睛来看世界，这个又科幻又诗意（又恐怖）的想法，已经成真了！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

《黑镜》第一季《你的全部历史》

现在，我们只需利用眼睛的反光，就能三维重建这个人正在观察的物体。

是的，这很黑镜。

最近，来自马里兰大学的团队，提出一种全新的方法——通过利用包含眼睛反光的人像，来对摄像机没有拍到的场景进行三维重建。

论文地址：https://arxiv.org/abs/2306.09348

项目地址：https://world-from-eyes.github.io/

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

经典科幻中的场景都成真了？

用眼睛反射产生辐射场重建？这个想法看似疯狂，实则有足够的理论依据。

作者介绍说，因为人眼具有高度的反射性，所以从捕捉头部移动的一系列帧中，完全可以做到仅使用眼睛的反射，就能重建和渲染人们正在观察的3D场景。

鉴于这个概念非常「黑镜」，而且这篇论文一发布没几个小时，《黑镜》新一季就宣布上线了，这种巧合简直让人怀疑《黑镜》的导演是不是也注意到了这篇论文。（狗头）

黑镜第六季今日上线

这项研究一出，网友们直接炸了。

所以，我们已经快进到这一步了？

这不就是2000年代《攻壳机动队》中的场景吗？这些虚构全都变成现实了！

100%的《银翼杀手》，现在就给我一份拷贝吧。

儒勒·凡尔纳的《基普兄弟》成真了！

当然，也有人对此表示毛骨悚然：这个技术可千万别被用于调查取证之类的事情。

而在今天，我们已经有了Varjo眼动追踪相机，还有苹果的VisionPro以及其他头显，这些设备都可以捕捉大量镜头素材，结合进这项新技术，无数崭新的科幻场景，恐怕马上都要成真了……

通过利用光线在人眼上的微小反射，研究团队开发了一种方法，可以使用在固定相机位置拍摄的单目图像序列来重建人所观察到的（非直视）场景。

不过，仅仅在观察到的反射上训练辐射场是不够的，原因有几个：1）角膜定位中的固有噪声，2）虹膜纹理的复杂性，3）每张图像中捕获的低分辨率反射。

为了解决这些挑战，团队在训练过程中引入了角膜姿态优化和虹膜纹理分解，并借助基于人眼虹膜的径向纹理正则化损失。

与传统的需要移动相机的神经场训练方法不同，他们使用的方法将相机放置在固定的视点上，完全依赖于用户的移动。

利用人眼反光，实现场景重建

由于准确估计眼睛的姿态十分困难，再加上虹膜和场景反射之间的纹理相互交织，因此这项任务颇具挑战性。

为了解决这一问题，作者针对眼睛姿态、描述场景的辐射场以及观察者的眼睛虹膜纹理，进行了联合优化。

具体来说，主要的贡献有三点：

1. 新的三维重建

提出了一种从眼睛图像中重建观察者世界的3D场景的新方法，可以将先前的基础工作与神经渲染的最新进展相结合。

2. 虹膜的径向先验

引入了虹膜纹理分解的径向先验，显著提高了重建的辐射场的质量。

3. 角膜姿态的优化

开发了一种角膜姿态优化的过程，以减轻眼睛姿态估计的噪声，克服了从人眼中提取特征的独特挑战。

结果显示，利用这个全新的方法，我们可以通过移动画面，从眼睛的反射中获得场景的多个视角，最终实现完整的场景重建。

更厉害的是，团队还尝试利用Miley Cyrus和Lady Gaga的MV，来重建她们眼睛里的景象。

作者表示，他们成功地重建了出现在Miley的眼中的物体，并且从Lady Gaga的眼中似乎看到了一个人的上半身。

然而，由于这些视频的质量不够高，因此还不能断定重建结果的准确性。

Lady Gaga

Miley Cyrus

如何做到的？

众所周知，健康成年人的角膜几何形状几乎相同。

因此，只需在图像中计算一个人的角膜的像素大小，就可以准确计算出他们的眼睛位置。

接下来，作者通过从相机拍摄光线，并将它们反射出近似的眼睛几何形状，来训练眼睛反射的辐射场。

为了避免人眼的虹膜在重建中出现，作者同时训练了一个学习虹膜纹理的二维纹理映射，来进行纹理分解。

实验评估

合成数据评估

首先，作者通过在Blender场景中放置人眼模型，进行了合成数据上的评估。

下图展示了仅利用眼睛反射重建的场景。

由于在现实生活中无法完美估计眼角膜，作者和评估了角膜姿态优化对估计角膜半径噪音的鲁棒性。

为了模拟真实数据中可能遇到的深度估计误差，作者通过使用不同噪音水平对每个图像中观察到的角膜半径进行缩放，来破坏观察到的角膜半径r_img。

下图展示了在不同噪音水平下的性能变化。

值得注意的是，随着噪音的增加，与无姿态优化的重建相比，作者提出的姿态优化重建在重建的几何形状和颜色方面更为鲁棒。

这证明姿态优化对于现实场景至关重要，因为图像中从投影的角膜到初始椭圆拟合并不完美。

此外，在有无纹理分解的情况下的定量比较显示，作者的方法在SSIM和LPIPS方面在纹理分解的情况下表现更好。

值得注意的是，作者没有计算PSNR，因为在设置中，反射和场景本身之间的照明差异非常大。

真实世界评估

为了保证视野的真实，作者选择了索尼RX IV相机进行拍摄，并使用Adobe Lightroom对图像进行后处理，以减少角膜反射中的噪声。同时，作者在人物的两侧加入了光源来照亮目标物体。

过程中，被拍的人需要在相机的视野范围内移动，以便团队在每个场景中拍摄5-15帧图像。

由于场景照明具有较大的动态范围，作者在所有实验中使用16位图像，以避免丢失观察到的反射中的信息。

平均而言，每个图像中角膜只覆盖约0.1％的区域，而目标物体大约会占到20x20像素，并与虹膜纹理交错。

数据处理

作者首先通过对图像进行角膜中心和半径的估计，来获得角膜的初始位置估计。

然后，使用平均深度和相机的焦距直接近似来计算角膜的三维位置，并计算其表面法线。

为了自动化这个过程，作者使用Grounding Dino定位眼睛的边界框，并使用ELLSeg对虹膜进行椭圆拟合。

尽管角膜通常被遮挡，但我们只需要未遮挡的区域，因此可以使用Segment Anything来获得虹膜的分割掩码。

真实结果

从下图展示的效果中可以看出，作者的方法能够从真实世界的人像图片中重建3D场景，尽管存在角膜位置和几何估计的不准确性。

由于角膜边界的模糊性，想要在图像中实现精确的定位十分困难。

此外，对于某些眼睛颜色，如绿色和蓝色，3D重建也会更加困难，因为虹膜纹理较亮。

此外，在没有明确建模纹理时，重建后的画面中还会出现更多的「漂浮物」。

为了解决这些问题，可以通过增加径向正则化的程度，来改善重建的质量。

不过，这个方法依然存在两个主要的限制。

首先，目前的真实世界结果是基于「实验室设置」，例如对人脸进行放大拍摄、使用额外的光源照亮场景等。而在更自由的环境中，就需要面对传感器分辨率较低、动态范围较小且存在运动模糊等更大的挑战。

其次，目前对虹膜纹理的假设（例如恒定纹理、径向恒定颜色）可能过于简化，因此该方法在眼睛大幅度旋转时可能会失效。

作者介绍

共同一作Kevin Zhang，目前是马里兰大学的博士生。

Brandon Y. Feng在马里兰大学获得计算机科学博士学位，研究兴趣集中在计算成像、中层视觉和计算摄影领域。曾开发了用于图像和3D数据处理的机器学习算法，应用范围涵盖混合现实到自然科学等领域。

Jia-Bin Huang是马里兰大学副教授，此前在UIUC获得了博士学位。研究兴趣集中在计算机视觉、计算机图形学和机器学习的交叉领域。

以上就是眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷的详细内容，更多请关注其它相关文章！

# AI  # 马里兰  # 成真  # 解锁  # 的是  # 前十  # 观察到  # 就能  # 十大  # 只需  # 3D  # 上海企业网站优化价格  # 海口网站推广优化  # 项目seo优化售后保障  # 如何找育儿知识网站推广  # 冒用他人身份推广网站  # 潍坊购物网站建设需要  # 湖北计算机网站推广价格  # 汕尾推广营销专家有哪些  # 徐福记的seo策略  # 活动营销推广问题  # 而在 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： Unity 内测 Safe Voice 服务，利用 AI 自动识别玩家不当聊天内容  苹果式 AI 哲学：不着一字，处处落子  华为推出两款商用 AI 大模型存储新品，支持 1200 万 IOPS 性能  午报 | 字节跳动要造机器人；东方甄选首次启动自有APP|直播|  下一个前沿：量子机器学习和人工智能的未来  网易云音乐内测上线“私人DJ” 打造AI推荐音乐助手  科学家称，面对人工智能，人类未来或只有灭亡与虚拟永生两个选择  Goodnotes 6推出，带来多项全新AI功能，让电子笔记更智能  常见的五个人工智能误解  人工智能助力林草行业高质量发展  DeepMind用AI重写排序算法；将33B大模型塞进单个消费级GPU  聚焦WAIC｜AI技术支撑大模型探索未来  小岛秀夫不反对使用AI 但认为人类应该凌驾于AI  全国青少年无人机大赛重庆市选拔赛开赛 1252名中小学生参加  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  视觉中国推出AI灵感绘图功能  MiracleVision视觉大模型  七大主流AI企业包括OpenAI、谷歌等联合承诺：引入水印技术，并允许第三方审核AI内容  热点 | 人工智能黄金时代开启  创作音乐/音频的Meta开源AI工具AudioCraft，让用户通过文本提示实现  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  张朝阳与陆川谈AI：ChatGPT是鹦鹉学舌思维，不可能取代人类 | 把脉AI大模型  陈根教授：离人形机器人时代还有10年吗？  美妆行业在AI时代蓬勃发展  出门问问亮相2025世界人工智能大会，展示AI CoPilot解决方案  华为联合合作伙伴 共同发布昇腾AI大模型训推一体化解决方案  IBM将模拟计算用于人工智能，重塑AI计算  基于预训练模型的金融事件分析及应用  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  中美陷入囚徒困境，人工智能变得不可控？可参考核不扩散条约规范  VMS的应用：提升多品牌设备管理效能  微软 Copilot 团队主管呼吁用户与 AI 交流时应使用恰当的礼貌用语  谷歌 Gmail“帮我写电子邮件”AI 功能开始向安卓和苹果设备推广  数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动，看“智慧大脑”让数字山东更美好  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  特斯拉门店可能启动机器人卖车？也许不是你想的那样  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  Intel酷睿Ultra发布会官宣！迈向全新的AI时代  美图开拍使用教程  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  智能机器人正在彻底改变客户服务  世界人工智能大会|“AI领航，共筑未来”高端保险论坛成功举办  九号公司主导制定短途交通和送物机器人领域首个国际标准，标志着零的突破发布  天翼云在国际AI顶会大模型挑战赛中获得冠军  谷歌推出RT-2视觉语言动作模型，使机器人能够掌握垃圾丢弃技能  人工智能如何帮助制造业？  科普：什么是AI大模型