苹果开放 Depth Pro 2,视频深度既要看边缘也要看抖动
苹果近日开放 Depth Pro 2 的推理代码与模型权重,相关论文于 2026 年 11 月 19 日 UTC 提交,即北京时间 11 月 20 日凌晨。对研究视频合成、空间视觉或相机应用的开发者,它提供了从普通图像估计逐像素深度的实验路径。本文用“让前景植物挡住虚拟文字”的场景,解释清晰边界、跨帧稳定和深度单位怎样共同影响结果。

原创 AI 概念插画,用于说明连续画面的空间层次,非模型输出或实测对比。
[配图建议:同一植物、椅子与背景墙出现在三个连续画框中,轮廓用细线对应 + 建筑模型摄影风概念插画]
同一套模型,从照片扩展到连续画面
Depth Pro 2 的官方模型卡将输入范围列为单张照片、视频和实时画面,输出是以米表达的深度。它估计的是普通相机画面中的空间信息,不需要先把任务变成视频生成;这里的“深度”也不是另一个颜色滤镜。官方模型卡
最直观的用途是研究遮挡关系:设想镜头前有一盆植物,你希望虚拟文字位于叶片后方、墙面前方。只有分清前后层次,才能让叶片遮住文字,而不是让文字浮在所有物体之上。画面静止时,一张边缘干净的深度图已经很有帮助;镜头开始移动后,前后帧的判断还要相互协调。
论文指出,既有单帧与多帧方法常在边界锐利和时间一致性之间取舍。Depth Pro 2 试图同时处理这两件事:既看清物体交界,也减少连续画面的变化不稳。这是作者的研究目标和实验结论,不能直接等同于每段视频都能得到无瑕疵遮挡。论文摘要与提交记录
对读者来说,试用时应保留两个观看角度:暂停看叶片边缘,播放看边缘是否来回变化。单独挑出最好看的一帧,无法回答它是否适合连续画面。
[配图建议:一边放大叶片边缘,一边排列同一段视频的连续帧 + 清晰的双视角技术插画]
为什么把相邻帧一起看
官方项目页介绍,模型通过多视图 Transformer 联合处理一个或多个画面,在帧内与帧间交换信息,再由解码器为每帧预测逆深度图。可以把它理解成:既观察这一帧有什么,也借助相邻画面的线索判断哪些结构应保持对应。项目方法说明
回到植物场景,细叶片在不同帧中的像素位置会变,背后的椅子却仍在同一个空间关系里。若逐张独立判断时叶片的一部分忽近忽远,合成的文字就可能时而被挡住、时而露出来。跨帧信息的意义,是为连续输出增加可利用的依据;它并没有让单目画面自动拥有真实传感器的全部信息。
输入方式也要对应目的。官方推理说明区分了独立照片与视频帧:照片逐张处理,视频使用联合处理路径。对连续镜头,应保留视频的关联,而不是先拆图后把每张当作无关照片处理。文件批量处理方便,并不意味着已经启用了跨帧能力。推理仓库说明
项目展示中的清晰度和时间一致性比较来自苹果团队,项目页还注明了展示分辨率与基线设置。本文不摘取它的演示画面当作本站成绩,也不据此排列所有深度模型的优劣。更有价值的比较,是用自己同一段输入,同时检查轮廓和连续播放,而不是比较不同场景的彩色图是否鲜艳。
[配图建议:连续画面的相同叶片轮廓通过对应线相连,旁边保留独立照片路径 + 简洁空间关系示意]
数字以米表示,仍然需要核对相机与用途
带单位的预测仍需验证,彩色深度图也不等于测量读数。 仓库说明,输出 depth 表示沿相机观察方向的深度;焦距会影响尺度。如果已知相机焦距,应按输入画面的像素尺寸提供,缩放画面时也要相应处理焦距。输出与焦距说明
对于遮挡研究,先后关系错误会直接破坏合成;对于想把图像还原为空间点的实验,尺度错误则会改变空间大小。两者需要的检查并不相同。一个颜色变化平滑的背景,可能看起来很舒服,却不能单凭观感证明距离准确;有已知尺寸或距离的参照物,才更容易发现尺度问题。
选择模型也不应只看下载体积。官方列出 S、B、L、H+ 四种规模;例如 S 的权重下载约 97 MB,未知焦距还可能需要独立估计组件。这些是文件大小,不是整个进程的内存承诺。Mac 演示文档也提醒,输入分辨率会明显影响内存需求。模型规模、Mac 演示文档
还有一项会直接改变使用决策:模型权重采用 Apple Machine Learning Research Model 许可,范围是非商业科学研究和学术开发,明确不包含产品开发或商业产品、服务中的使用。准备接入实际产品的团队,应先解决使用权限问题,再安排工程集成;不能把“能下载权重”直接理解成“可以商用”。模型许可原文
[配图建议:相机焦距标记、带尺度参照的场景与彩色深度层并列,另留研究用途标识 + 克制的科研编辑插画]
从一段短视频开始,分别看静态与动态
适合科研试用的人,可以先在 Linux 或 Apple 芯片 Mac 上按官方仓库安装说明准备环境,选择一段自己有权使用的短视频。仓库建议笔记本从 S 模型开始,下面是沿用官方命令形式的示例,本站未运行模型:
uv run depth-pro-2 predict -i sample.mp4 -o out/ -m depthpro2-s
命令需要在已按仓库说明准备好的项目环境中执行,sample.mp4 替换为自己的文件。先固定输入、模型和画面尺寸,留下配置记录,再改变一个选项,更容易知道结果差异来自哪里。官方上手说明
第一遍暂停观察细轮廓:叶片、椅背和前景交界有没有被粘成一片。第二遍连续播放:同一物体的深度是否突然跳变,镜头移动时遮挡是否闪烁。第三遍才将结果带入一个简单的合成实验,看文字应被挡住的位置是否正确。这样可以把“预测图看起来不错”和“下游效果可用”分开评价。
离线处理与实时相机,应分别安排实验。 离线可以先拿完整片段观察质量;实时研究还要把相机采集、预处理、推理和显示串起来看。官方 Mac 演示的速度表有特定机器、尺寸和窗口设置,并排除了预处理与渲染,因此不应将其中某一帧的推理时间写成完整应用延迟。
遇到结果不稳,先保留失败片段和配置,再判断是轮廓、跨帧变化还是尺度出了问题;不要只换更大的模型后重新挑一帧截图。对研究者来说,这份问题记录往往比一张漂亮的演示图更能帮助下一次实验。
[配图建议:暂停放大、连续播放与文字遮挡三个检查步骤连接到同一段视频 + 清楚的横向流程插画]
今天先找一个容易露馅的前景
Depth Pro 2 值得视觉研究者用来观察单目深度的边缘与跨帧表现;准备做商业集成的人,则应先核对权重许可。今天可以先拍一段带细叶片或椅背的短镜头,写下哪些地方必须挡住虚拟内容,再决定怎样评价输出。你的实验最怕的是边缘破碎、播放闪烁,还是距离尺度错误?先确定这一项,后面的模型选择和设置才有明确方向。
[配图建议:植物前景后方放置虚拟文字轮廓,研究便笺记录三类问题 + 建筑模型摄影风编辑插画]
资料核查于 2026 年 11 月 22 日。本文依据苹果项目页、论文摘要、模型卡及仓库文档整理,场景与命令为说明性示例,未运行模型或完成速度测试。封面为 AI 生成概念图。