LEARNING PLAN / 进阶
视觉与三维场景
从实际图像自动提取观测,推导一般相机、标定、匹配与三角化,再真实训练小型 Gaussian 场景并渲染留出视角。
从问题出发,推导机制,再把实现交给新的输入检验。

时长为编写者建议,包含推演与练习,未经学习者计时验证;可按小节分次完成。
WHAT YOU WILL BUILD
完成之后,拿什么证明理解?
- 从实际PNG自动检测匹配观测
- 估计一般相机并拒绝退化输入
- 重建米制点云与量化深度敏感性
- 区分点云/网格/体场及可见性模型
- 真实训练受限Gaussian场景并验收留出视角
开始前,需要掌握什么?
- 基础Python、数组与向量运算
- 矩阵乘法与导数
- 能运行Python3.11及PyTorch项目
先修用于选择起点,不限制阅读;遇到缺口可返回相应章节。
THE LEARNING ROUTE
每一步,都有去处。
仅保存在当前浏览器;完成标记不代表通过项目验收。
观测与相机
从像素提取观测,建立投影并用标靶估计相机。
真实图像文件、像素坐标与可匹配观测
一张 PNG 怎样变成可供匹配的观测,而不借用生成场景时的三维真值?
一般相机、旋转、投影与尺度
世界点经过旋转和平移后怎样投到像素,坐标、焦距和尺度各用什么单位?
从标定图像估计一般相机矩阵
已知三维标靶和像素对应时,怎样建立 DLT 约束,并识别无法确定相机的退化输入?
对应与表示
检查匹配、三角化不确定性及可见性模型。
对应关系、极线约束与错误匹配
两处亮斑颜色相近且满足极线约束时,为什么仍不能认定它们是同一个三维点?
三角化、深度敏感性与几何精化
两条像素观测怎样给出三维位置,为什么重投影误差很小也可能深度极不稳定?
从点到场:表示、可见性与渲染假设
同一组点换成网格、体场或 Gaussian 后,可见性与渲染分别增加了哪些假设?
拟合与留出视角
训练受控 Gaussian 场景,联合核对几何和光度。
真实训练一个可微 Gaussian 场景
像素误差怎样传回 Gaussian 的位置、颜色与半径,又有哪些场景不能靠拟合辨识?
共同版本的三维场景验收与失败报告
原件到新视角的链路跑通后,怎样联合核对几何、光度、错误对应和真值隔离?
BUILD / TEST / TRANSFER
从彩色图像到可训练三维发光场景
五视角原创PNG与独立非共面标靶,自动检测、DLT、匹配、三角化和84参数可微Gaussian拟合;保留新视角预测、真实错误对应与来源收据。
运行环境
Python 3.11+;PyTorch 2.6.0、NumPy 2.3.5、Pillow 12.3.0;CPU 即可。
解压后先读 README,再按其中环境与命令运行。完整参考实现与学习任务分开提供。
项目完成核对
这是个人核对清单,不是自动评分。保留输入、结果、失败与复现命令。