AI Hero Club
← 课程介绍

LEARNING PLAN / 进阶

视觉与三维场景

从实际图像自动提取观测,推导一般相机、标定、匹配与三角化,再真实训练小型 Gaussian 场景并渲染留出视角。

从问题出发,推导机制,再把实现交给新的输入检验。

视觉与三维场景课程封面
8 章 / 同一个完整项目章节学习建议 16 小时独立练习与项目预留 24 小时

时长为编写者建议,包含推演与练习,未经学习者计时验证;可按小节分次完成。

WHAT YOU WILL BUILD

完成之后,拿什么证明理解?

  • 从实际PNG自动检测匹配观测
  • 估计一般相机并拒绝退化输入
  • 重建米制点云与量化深度敏感性
  • 区分点云/网格/体场及可见性模型
  • 真实训练受限Gaussian场景并验收留出视角
开始前,需要掌握什么?
  • 基础Python、数组与向量运算
  • 矩阵乘法与导数
  • 能运行Python3.11及PyTorch项目

先修用于选择起点,不限制阅读;遇到缺口可返回相应章节。

THE LEARNING ROUTE

每一步,都有去处。

已自行标记完成0 / 8

仅保存在当前浏览器;完成标记不代表通过项目验收。

01

观测与相机

从像素提取观测,建立投影并用标靶估计相机。

01

真实图像文件、像素坐标与可匹配观测

一张 PNG 怎样变成可供匹配的观测,而不借用生成场景时的三维真值?

120 分钟 ↗
02

一般相机、旋转、投影与尺度

世界点经过旋转和平移后怎样投到像素,坐标、焦距和尺度各用什么单位?

120 分钟 ↗
03

从标定图像估计一般相机矩阵

已知三维标靶和像素对应时,怎样建立 DLT 约束,并识别无法确定相机的退化输入?

120 分钟 ↗
02

对应与表示

检查匹配、三角化不确定性及可见性模型。

04

对应关系、极线约束与错误匹配

两处亮斑颜色相近且满足极线约束时,为什么仍不能认定它们是同一个三维点?

120 分钟 ↗
05

三角化、深度敏感性与几何精化

两条像素观测怎样给出三维位置,为什么重投影误差很小也可能深度极不稳定?

120 分钟 ↗
06

从点到场:表示、可见性与渲染假设

同一组点换成网格、体场或 Gaussian 后,可见性与渲染分别增加了哪些假设?

120 分钟 ↗
03

拟合与留出视角

训练受控 Gaussian 场景,联合核对几何和光度。

07

真实训练一个可微 Gaussian 场景

像素误差怎样传回 Gaussian 的位置、颜色与半径,又有哪些场景不能靠拟合辨识?

120 分钟 ↗
08

共同版本的三维场景验收与失败报告

原件到新视角的链路跑通后,怎样联合核对几何、光度、错误对应和真值隔离?

120 分钟 ↗

BUILD / TEST / TRANSFER

从彩色图像到可训练三维发光场景

五视角原创PNG与独立非共面标靶,自动检测、DLT、匹配、三角化和84参数可微Gaussian拟合;保留新视角预测、真实错误对应与来源收据。

运行环境
Python 3.11+;PyTorch 2.6.0、NumPy 2.3.5、Pillow 12.3.0;CPU 即可。

下载课程项目 ↓

解压后先读 README,再按其中环境与命令运行。完整参考实现与学习任务分开提供。

项目完成核对

这是个人核对清单,不是自动评分。保留输入、结果、失败与复现命令。