计算机视觉是一门高度交叉的学科,其知识体系横跨数学、计算机科学和人工智能三大领域。对于初学者来说,面对庞杂的知识点往往感到无从下手;对于从业者来说,理清知识体系结构有助于查漏补缺、持续提升。本文从数学基础、编程能力和算法知识三大支柱出发,系统梳理计算机视觉的完整知识体系,帮助读者建立清晰的知识框架。
一、知识体系全景图
计算机视觉的知识体系可以被概括为"三大支柱、一个核心"。三大支柱分别是数学基础、编程能力和算法知识,一个核心是计算机视觉领域的专业任务和方法。三大支柱相互支撑、缺一不可——数学提供理论工具,编程提供实现手段,算法提供方法框架。
这三支柱之间的关系是动态的、相互促进的。例如,深度学习中的反向传播算法需要用微积分(链式法则)来推导,用线性代数(矩阵运算)来高效实现,用优化理论(梯度下降)来理解收敛性,同时用Python/PyTorch来编写代码、用C++/CUDA来加速计算。一个完整的CV从业者,需要在这三大支柱上都有扎实的积累。
二、数学基础
数学是计算机视觉的理论基石。很多CV算法看似复杂,归根结底是数学概念的具体应用。下面从线性代数、概率论与统计、微积分、优化理论、信息论五个子模块展开。
2.1 线性代数
线性代数是CV中最重要的数学分支,没有之一。在计算机视觉中,图像被表示为像素值矩阵,特征被表示为向量,变换被表示为矩阵乘法,深度学习中的卷积、全连接、注意力等操作本质上都是线性变换(配合非线性激活函数)。
2.1.1 向量与向量空间
向量是线性代数最基本的对象。在CV中,一幅灰度图像可以被拉直为一个高维向量(例如,224x224的图像对应50176维向量),图像特征(如CNN提取的特征向量)也以向量形式存在。需要理解的核心概念包括:向量的线性组合与线性相关性——理解特征空间中的"线性可分"概念;向量空间的基与维数——理解PCA降维、特征分解的几何意义;内积与范数(L1范数、L2范数、无穷范数)——L2范数用于正则化防止过拟合,L1范数用于稀疏约束;余弦相似度——这是人脸识别、图像检索中衡量特征相似度的核心度量。
2.1.2 矩阵运算与变换
矩阵是线性变换的数学表示。在CV中,图像的旋转、缩放、平移、透视变换都可以用矩阵乘法表示:旋转通过旋转矩阵、缩放通过对角矩阵、平移通过齐次坐标扩展。需要掌握:矩阵乘法的几何意义(线性变换的复合);矩阵的秩——理解数据的本质维度,低秩矩阵在图像去噪、推荐系统中有重要应用;矩阵的逆与伪逆——在最小二乘问题中求解最优参数;矩阵的特征值与特征向量——理解PCA的数学原理,特征值表示方差大小,特征向量表示主成分方向;奇异值分解(SVD)——这是CV中最重要的矩阵分解之一,图像压缩、去噪、水印、人脸识别(Eigenfaces)等大量应用都基于SVD;矩阵的迹与行列式——在概率论(多元高斯分布)和优化中经常出现。
2.1.3 张量运算
在深度学习框架中,数据以张量(多维数组)的形式存在。需要理解:张量的维度(batch、channel、height、width的四维张量是CV中最常见的形式);张量的变形(reshape、transpose、permute、squeeze、unsqueeze);张量的广播机制(Broadcasting)——理解不同形状张量之间的运算规则;爱因斯坦求和约定(einsum)——这是PyTorch/TensorFlow中高效张量运算的利器,也是理解注意力机制中Q、K、V矩阵运算的简洁方式。
2.1.4 矩阵微积分
矩阵微积分是深度学习反向传播的数学基础。需要理解:标量对向量的梯度(梯度向量);标量对矩阵的梯度(梯度矩阵);向量对向量的梯度(雅可比矩阵);常用矩阵微积分恒等式(如对矩阵迹的求导、对矩阵逆的求导、对二次型的求导)。理解矩阵微积分,才能从底层理解反向传播算法中每一层的梯度计算。
2.1.5 线性代数在CV中的应用实例
理解具体应用有助于建立"数学-CV"的映射关系。卷积操作可以用矩阵乘法表示(im2col变换),这使得卷积的前向和反向传播都可以用高效的矩阵乘法实现。PCA降维基于协方差矩阵的特征值分解,在图像压缩和人脸识别中应用广泛。SVD分解可以将图像分解为秩1矩阵的加权和,截断前k个奇异值实现有损压缩。场景几何中的对极几何(Epipolar Geometry)基于基础矩阵和本质矩阵,其推导涉及大量线性代数知识。3D变换(旋转、平移、投影)通过齐次坐标和变换矩阵实现,是3D视觉和AR/VR的基础。
2.2 概率论与统计
概率论是理解机器学习模型的理论语言。在CV中,分类模型输出类别概率分布,目标检测输出置信度分数,生成模型学习数据分布,不确定性估计量化模型的可信度。
2.2.1 概率基础
需要掌握的核心概念包括:随机变量与概率分布(离散分布、连续分布、联合分布、条件分布、边缘分布)——理解这些概念是理解贝叶斯定理和生成模型的基础;贝叶斯定理——这是贝叶斯机器学习、贝叶斯神经网络、变分推断的理论基础;期望、方差、协方差、相关系数——Batch Normalization中使用均值和方差进行标准化,协方差矩阵用于PCA和多元高斯分布;大数定律与中心极限定理——理解为什么批量梯度下降中使用mini-batch的均值可以近似全量梯度。
2.2.2 常见概率分布
高斯分布(正态分布)——CV中最常见的分布,扩散模型的前向过程就是逐步向数据添加高斯噪声,VAE的潜在变量也假设服从高斯分布;伯努利分布——二分类问题的概率建模;多项分布——多分类问题的概率建模;混合高斯分布(GMM)——在图像分割、背景建模中应用广泛;狄利克雷分布——多项分布的共轭先验,在主题模型和贝叶斯推断中常用。
2.2.3 参数估计与推断
最大似然估计(MLE)——通过最大化数据似然估计模型参数,理解分类任务中交叉熵损失与MLE的等价关系;最大后验估计(MAP)——在MLE基础上引入先验知识,等价于在损失函数中加入正则化项;贝叶斯推断——不局限于点估计,而是估计参数的后验分布,在贝叶斯神经网络、高斯过程中有应用;期望最大化(EM算法)——用于含有隐变量的模型参数估计,在高斯混合模型、隐马尔可夫模型中应用广泛。
2.2.4 统计检验
在CV实验分析中,统计检验用于判断模型改进是否显著。t检验——判断两组实验结果的均值是否有显著差异,在小样本场景下常用;McNemar检验——用于比较两个分类器在相同测试集上的表现差异;Bootstrap——通过重采样估计模型性能指标的置信区间,在论文中报告实验结果的标准差或置信区间是良好实践。
2.3 微积分
微积分是理解深度学习优化过程的数学语言。从梯度下降到反向传播,从损失函数优化到模型收敛性分析,微积分无处不在。
2.3.1 导数与梯度
需要理解的核心概念包括:导数的定义与几何意义——切线斜率,在机器学习中衡量函数局部变化率;偏导数与方向导数——梯度是方向导数最大的方向,也是梯度下降法中的更新方向;梯度的计算——对于复合函数,链式法则(Chain Rule)是反向传播算法的数学基础;高阶导数与Hessian矩阵——Hessian矩阵的特征值分布可以判断优化问题的凸性,以及梯度下降的收敛速度。
2.3.2 链式法则与反向传播
反向传播是深度学习最核心的算法。理解它需要从微积分链式法则出发:对于多层神经网络,损失函数对每一层参数的梯度可以通过链式法则逐层反向传播计算。在计算图中,每个节点保存局部梯度,反向传播时从输出端向输入端逐层传播梯度。手动推导一个简单多层感知机(MLP)的反向传播过程,是理解深度学习的必修课。
2.3.3 泰勒展开
泰勒展开在机器学习中有多重应用:一阶泰勒展开提供函数的局部线性近似,是梯度下降法的理论基础(假设函数在局部可以用线性函数近似);二阶泰勒展开引入Hessian矩阵,用于牛顿法等二阶优化方法,以及分析梯度下降的收敛性;在模型解释中,泰勒展开也用于近似模型的局部行为。
2.3.4 积分
积分在CV中的主要应用包括:概率密度函数的积分(归一化常数、期望计算);连续型随机变量的期望与方差计算;在图像处理中,积分图(Integral Image)用于加速矩形区域内的像素和计算,是Viola-Jones人脸检测器中的关键优化技术;在生成模型中,归一化流(Normalizing Flow)使用变量变换公式(涉及雅可比行列式的积分形式)实现概率密度的变换。
2.4 优化理论
优化理论是深度学习训练的核心。CV模型的训练过程本质上是一个优化问题:在参数空间中寻找使损失函数最小化的参数配置。
2.4.1 梯度下降法
梯度下降是最基本的优化算法。需要理解:批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(Mini-batch SGD)的区别和权衡——BGD计算精确但每步太慢,SGD每步很快但梯度噪声大,Mini-batch SGD是折中方案;学习率(Learning Rate)对训练的影响——太大导致发散,太小导致收敛慢;梯度下降在凸函数和非凸函数中的行为差异——深度学习中的损失函数是高度非凸的,梯度下降可能收敛到局部最优或鞍点。
2.4.2 动量法与自适应学习率方法
动量法(Momentum)——在梯度下降中引入惯性项,加速收敛并减少振荡。理解指数加权移动平均在动量法中的作用机理。Nesterov加速梯度(NAG)——在动量法基础上引入"前瞻"步骤,理论上有更快的收敛速度。AdaGrad——自适应调整每个参数的学习率,但学习率单调递减可能导致过早停止。RMSprop——在AdaGrad基础上引入指数移动平均,避免学习率过快衰减。Adam——结合动量法和自适应学习率的优点,是目前最常用的优化器。AdamW——将权重衰减(Weight Decay)与Adam的自适应学习率解耦,是当前CV模型训练的首选优化器。
2.4.3 学习率调度
学习率调度对训练效果有重要影响。Warmup——训练初期使用较小的学习率,逐步增加到目标学习率,避免训练初期的不稳定。Cosine Annealing——学习率按照余弦曲线衰减,在CV模型训练中广泛使用。Step Decay与Exponential Decay——在特定epoch或按指数衰减学习率。ReduceLROnPlateau——当验证集指标不再提升时降低学习率。OneCycleLR——在训练过程中先升后降的学习率策略,有时能加速收敛。
2.4.4 正则化与优化
正则化是防止过拟合的核心手段。L1正则化——在损失函数中加入参数的L1范数惩罚,促进稀疏性(feature selection);L2正则化(权重衰减)——加入参数的L2范数惩罚,限制参数的大小,防止过拟合。从贝叶斯视角看,L2正则化等价于参数的高斯先验,L1正则化等价于拉普拉斯先验。Dropout——训练时随机丢弃神经元,相当于对多个子网络进行集成学习。Early Stopping——在验证集误差不再下降时停止训练,是最简单有效的正则化手段之一。
2.5 信息论
信息论在CV中的应用日益重要,特别是在生成模型和表示学习领域。
2.5.1 信息度量
熵(Entropy)——衡量随机变量的不确定性。在决策树中,信息增益基于熵的减少量。交叉熵(Cross Entropy)——衡量两个概率分布之间的差异,是分类任务最常用的损失函数。KL散度(Kullback-Leibler Divergence)——衡量两个分布之间的相对熵,在VAE中用于约束潜在变量分布接近标准正态分布,在扩散模型中也有重要应用。互信息(Mutual Information)——衡量两个随机变量之间的依赖关系,在表示学习中用于学习解耦表示。
2.5.2 信息论在CV中的应用
交叉熵损失是分类任务的标准损失函数,理解其与最大似然估计的等价关系至关重要。VAE的损失函数由重构损失和KL散度正则化项组成,KL散度强制潜在变量的后验分布接近先验分布。在对比学习(如SimCLR、MoCo)中,InfoNCE损失函数源自互信息最大化的下界。在知识蒸馏中,KL散度用于衡量学生模型和教师模型输出分布之间的差异。
三、编程能力
编程是将算法思想转化为实际系统的桥梁。在CV领域,Python是算法开发的主流语言,C++是高性能部署的常用语言,数据结构与算法是编程的基础功,工程工具链是高效协作的保障。
3.1 Python
Python是CV领域最主流的编程语言,其简洁的语法、丰富的科学计算库和活跃的深度学习生态,使其成为CV开发的首选。
3.1.1 Python语言核心
Python基础必须扎实。数据类型方面,需要深入理解可变对象(list、dict、set)和不可变对象(int、float、str、tuple)的区别,以及默认参数的可变对象陷阱。函数方面,掌握lambda匿名函数、map/filter/reduce等高阶函数、装饰器(decorator)和生成器(generator)——装饰器在PyTorch中广泛用于注册模块和函数,生成器用于高效处理大规模数据。面向对象方面,理解类的继承、多态、魔术方法(__init__、__call__、__getitem__、__len__)——PyTorch的Dataset和Module类大量使用这些魔术方法。上下文管理器(with语句)和属性描述符(@property)也是常用的高级特性。
3.1.2 NumPy
NumPy是Python科学计算的基础,也是CV中图像数据的底层表示。需要掌握:ndarray的创建、索引、切片、形状变换;广播机制(Broadcasting)的规则——这是NumPy中最强大也最容易出错的特性;向量化运算——避免Python循环,利用C语言底层实现加速;线性代数模块(np.linalg)——矩阵乘法、求逆、特征值分解、SVD;随机数模块(np.random)——用于数据增强、权重初始化、采样等。
3.1.3 PyTorch
PyTorch是当前CV领域最主流的深度学习框架。核心需要掌握:Tensor操作——PyTorch的张量操作与NumPy高度相似,但支持GPU加速和自动微分;自动微分(autograd)——理解计算图的构建和反向传播,是PyTorch最核心的机制;nn.Module——所有模型的基础类,理解参数注册、前向传播、参数管理;DataLoader和Dataset——高效的数据加载管线,多进程数据加载、数据预取、自定义数据集的编写;训练循环——标准的训练模板(前向传播、损失计算、反向传播、参数更新、学习率调度、日志记录);模型保存与加载——state_dict和checkpoint的区别和使用场景;分布式训练——DataParallel(单机多卡)、DistributedDataParallel(多机多卡)的使用。
3.1.4 常用CV库
OpenCV——最经典的CV库,用于图像读写、预处理、特征提取、视频处理等。注意OpenCV的BGR色彩通道顺序。Pillow(PIL)——Python图像处理库,API更友好。scikit-image——基于NumPy的科学图像处理库,算法实现丰富。Albumentations——高效的图像数据增强库,比torchvision的transform更快。Matplotlib——可视化库,用于绘制训练曲线、显示图像、绘制结果。Open3D——3D数据处理和可视化库。
3.2 C++
C++在CV领域主要用于高性能计算和模型部署。虽然Python是算法开发的主流,但在推理引擎、底层算子、嵌入式设备等场景中,C++不可或缺。
3.2.1 C++基础
C++11/14/17是现代C++的标准。需要掌握:智能指针(unique_ptr、shared_ptr、weak_ptr)——替代原始指针,实现自动内存管理;移动语义(move semantics)和右值引用——避免不必要的拷贝,提升性能;Lambda表达式——简洁的函数对象定义;STL容器(vector、map、unordered_map、set、queue)和算法(sort、find、transform);模板(template)——泛型编程的基础。
3.2.2 C++在CV中的应用
TensorRT——NVIDIA的推理优化库,使用C++实现,提供Python API。理解TensorRT的模型优化流程(层融合、精度校准、kernel自动调优)。OpenCV的C++接口——在嵌入式设备和实时系统中,C++版本的OpenCV性能优于Python版本。CUDA C++——编写GPU kernel,实现自定义算子,是CV底层优化的核心技能。PyTorch的C++前端(LibTorch)——在C++环境中加载和运行PyTorch模型。
3.3 数据结构与算法
扎实的数据结构与算法基础是编程能力的重要组成部分,也是技术面试的必考内容。
3.3.1 基础数据结构
数组与链表——理解连续存储和链式存储的优缺点,以及在不同场景下的选择。栈与队列——理解后进先出和先进先出。在CV中,BFS(广度优先搜索)用于连通域分析、区域生长等。哈希表——理解哈希冲突的解决方法(链地址法、开放地址法)。在CV中,哈希表用于特征匹配、去重、缓存。树与图——二叉树、平衡树、图的基本概念。在CV中,图结构用于Graph Cut图像分割、场景图生成等。
3.3.2 常用算法
排序算法(快速排序、归并排序、堆排序)——理解各算法的时间复杂度和空间复杂度权衡。搜索算法(二分查找、BFS、DFS)——深度优先搜索在图像处理中有多种应用。动态规划——在CV中,动态规划用于图像拼接中的Seam Carving、OCR中的CTC解码等。贪心算法——在目标检测中的NMS非极大值抑制算法中应用。
3.3.3 算法复杂度分析
理解时间复杂度和空间复杂度的分析方法是基本功。在CV中,需要关注:模型推理的时间复杂度(如自注意力机制的O(n^2)复杂度);图像处理算法的空间复杂度(高分辨率图像可能耗尽内存);实时系统的延迟要求(如自动驾驶感知系统要求毫秒级延迟)。Big-O记号的正确使用和计算是技术面试中的高频考点。
3.4 工程工具链
3.4.1 版本控制
Git是业界标准。需要掌握:基本操作(clone、add、commit、push、pull、fetch);分支管理(branch、checkout、merge、rebase、cherry-pick);冲突解决;Git工作流(Git Flow、GitHub Flow);代码审查(Code Review)的最佳实践。
3.4.2 Linux与Shell
CV开发主要在Linux环境下进行。需要掌握:文件系统操作(ls、cd、cp、mv、rm、find、grep);进程管理(ps、top、kill、nohup、screen/tmux);文本处理(cat、head、tail、sort、uniq、awk、sed);Shell脚本编写;环境变量管理;SSH远程连接;GPU监控(nvidia-smi)。
3.4.3 Docker与容器化
Docker是模型部署和实验环境管理的标准工具。需要掌握:Dockerfile的编写;镜像的构建和管理;容器的运行和调试;Docker Compose多容器编排;GPU容器的配置(nvidia-docker)。
3.4.4 实验管理
实验管理是CV开发的重要组成部分。WandB(Weights & Biases)和TensorBoard——实验追踪和可视化。MLflow——实验管理、模型注册、模型部署的端到端平台。Hydra——配置管理框架,优雅地管理复杂的实验配置。实验记录规范——每次实验记录实验目的、超参数配置、训练日志、结果指标、结论分析,避免"跑了但忘了"。
3.5 并行计算与CUDA
3.5.1 GPU计算基础
理解GPU的并行计算模型:SIMT(Single Instruction, Multiple Threads)架构;线程层次结构(grid、block、thread);内存层次结构(全局内存、共享内存、寄存器);线程束(Warp)和线程束发散(Warp Divergence)的概念。
3.5.2 CUDA编程基础
CUDA C++的基本语法:kernel函数的定义(__global__修饰符);线程索引的计算(blockIdx、threadIdx);内存分配和传输(cudaMalloc、cudaMemcpy);共享内存的使用(__shared__修饰符)。在CV中,自定义CUDA kernel用于实现标准框架中不存在的算子,或者对特定算子进行极致优化。PyTorch提供了C++/CUDA扩展机制,允许用户在Python中调用自定义CUDA算子。
四、算法知识
算法知识是CV的核心竞争力。从图像处理的基础算法,到机器学习的经典方法,再到深度学习的前沿架构,构成了CV算法知识的完整谱系。
4.1 图像处理
图像处理是CV的基础,涵盖图像预处理、增强、特征提取等任务。
4.1.1 图像基础
数字图像的表示:灰度图(二维矩阵)、彩色图(三维矩阵,RGB通道)、多光谱图像(多通道)。颜色空间:RGB、HSV(色相-饱和度-明度,适合颜色分割)、Lab(感知均匀的颜色空间)、YCbCr(亮度-色度分离,用于视频压缩)。图像直方图:用于分析图像的亮度分布、对比度、曝光情况。直方图均衡化通过拉伸直方图分布增强图像对比度。
4.1.2 图像滤波
空间域滤波:卷积核在图像上滑动,计算加权和。平滑滤波(均值滤波、高斯滤波)——去除噪声但会模糊边缘;锐化滤波(拉普拉斯滤波、非锐化掩蔽)——增强边缘和细节;中值滤波——对椒盐噪声特别有效,同时保持边缘;双边滤波——同时考虑空间距离和像素值差异,保持边缘的同时平滑区域。频域滤波:傅里叶变换将图像从空间域转换到频率域,低频成分对应平滑区域,高频成分对应边缘和噪声。低通滤波去除高频噪声,高通滤波增强边缘。
4.1.3 边缘检测
边缘是图像中灰度值急剧变化的像素集合。Sobel算子——通过计算x和y方向的梯度近似检测边缘,简单高效。Canny边缘检测——最经典的边缘检测算法,包含五个步骤:高斯滤波去噪、梯度计算、非极大值抑制(细化边缘)、双阈值检测(区分强边缘和弱边缘)、边缘连接(弱边缘与强边缘连接)。理解Canny算法中每一步的设计意图,有助于理解边缘检测的核心挑战。Laplacian of Gaussian(LoG)——先高斯平滑再拉普拉斯检测,能够检测不同尺度的边缘。
4.1.4 图像分割(传统方法)
阈值分割:Otsu大津法自动寻找最优阈值,通过最大化类间方差实现。基于区域的分割:区域生长(从种子点开始合并相似像素)、分水岭算法(将图像视为地形图,通过模拟浸水过程分割区域)。基于边缘的分割:检测边缘后连接为闭合轮廓。图割算法(Graph Cut):将图像分割转化为图的最小割问题,通过最大流最小割定理求解。
4.1.5 形态学操作
形态学操作基于集合论,处理二值图像。膨胀(Dilation)——扩大前景区域,填充孔洞。腐蚀(Erosion)——缩小前景区域,去除小噪点。开运算(先腐蚀后膨胀)——去除小噪点,平滑边界。闭运算(先膨胀后腐蚀)——填充小孔洞,连接断裂区域。形态学梯度——膨胀结果减去腐蚀结果,提取物体边界。连通域分析——标记二值图像中的连通区域,是目标检测后处理的常用操作。
4.2 机器学习
机器学习是CV的算法基础,深度学习是机器学习的一个子领域。在深度学习大行其道的今天,传统机器学习方法仍然在数据预处理、模型评估、特征工程、小样本学习等场景中发挥重要作用。
4.2.1 核心概念
监督学习:给定输入-输出对,学习映射函数。分类(离散输出)和回归(连续输出)。无监督学习:仅给定输入数据,发现数据的内在结构。聚类(将数据分组)、降维(减少特征维度)、密度估计(估计数据分布)。半监督学习:利用少量标注数据和大量未标注数据共同训练。自监督学习:利用数据自身结构设计预训练任务,是当前CV大模型训练的核心范式。
4.2.2 经典算法
线性模型:线性回归(最小二乘法、梯度下降法求解);逻辑回归(sigmoid函数将线性输出映射到概率,交叉熵损失)。支持向量机(SVM):最大间隔分类器,核技巧处理非线性可分问题。决策树与集成学习:决策树通过信息增益或基尼系数选择划分特征;随机森林通过Bagging集成多棵决策树;XGBoost通过梯度提升逐步优化,在结构化数据中表现优异。K近邻(KNN):基于距离度量的非参数方法,简单但计算量大。朴素贝叶斯:基于贝叶斯定理和条件独立性假设,适合文本分类等任务。
4.2.3 模型评估与选择
评估指标:分类任务——准确率、精确率、召回率、F1分数、ROC-AUC、混淆矩阵;回归任务——MSE、MAE、R^2;检测任务——mAP、IoU;分割任务——mIoU、Dice系数。交叉验证:K折交叉验证评估模型的泛化性能。偏差-方差权衡:高偏差导致欠拟合,高方差导致过拟合。学习曲线:通过分析训练误差和验证误差随训练样本量的变化,诊断模型是欠拟合还是过拟合。
4.2.4 特征工程
特征工程是将原始数据转化为模型可用的特征的过程。在深度学习时代,特征工程的重要性有所下降,但理解其思想仍然有价值。特征缩放:标准化(均值为0,方差为1)、归一化(缩放到[0,1]区间)。特征编码:类别变量的独热编码(One-Hot Encoding)、标签编码。特征构造:通过领域知识创建新的特征组合。特征选择:过滤法(基于统计指标)、包裹法(基于模型性能)、嵌入法(模型自带特征选择)。
4.3 深度学习
深度学习是当代CV的核心技术。自2012年AlexNet在ImageNet竞赛中取得突破以来,深度学习已经取代传统方法,成为CV算法的主流范式。
4.3.1 神经网络基础
神经元模型:线性变换(权重乘输入加偏置)接非线性激活函数。激活函数:Sigmoid(输出0-1,容易梯度饱和);Tanh(输出-1到1,零中心化);ReLU(非负输出,稀疏激活,计算简单,但存在"神经元死亡"问题);Leaky ReLU/PReLU(解决ReLU的负半轴梯度为零问题);GELU(高斯误差线性单元,在Transformer中广泛使用)。前向传播:逐层计算输出。反向传播:基于链式法则计算损失函数对各层参数的梯度。梯度消失与梯度爆炸:深层网络中梯度在反向传播中指数衰减或增长,导致训练困难。解决方案包括:使用ReLU激活函数、Batch Normalization、残差连接、梯度裁剪等。
4.3.2 卷积神经网络(CNN)
CNN是CV领域的基础架构。卷积层:卷积核在输入特征图上滑动,提取局部特征。理解卷积的参数(kernel size、stride、padding、dilation)和感受野的计算。池化层:最大池化(提取最显著特征,提供平移不变性)、平均池化(平滑特征图)。全连接层:将卷积特征展开后连接所有神经元,用于最终的分类/回归输出。
经典CNN架构演进:LeNet-5(1998)——最早用于手写数字识别的CNN;AlexNet(2012)——在ImageNet上取得突破,引入ReLU、Dropout、GPU训练;VGGNet(2014)——统一使用3x3卷积核,证明了网络深度的重要性;GoogLeNet/Inception(2014)——引入多尺度卷积并行处理;ResNet(2015)——引入残差连接,使训练数百层网络成为可能,是现代CNN的基石;DenseNet(2017)——密集连接增强特征复用;MobileNet(2017)——深度可分离卷积大幅减少计算量,适合移动端;EfficientNet(2019)——通过神经架构搜索找到最优的深度、宽度、分辨率组合。
4.3.3 Transformer在视觉中的应用
ViT(Vision Transformer,2020)——将图像切分为固定大小的patch,将每个patch映射为token,直接应用Transformer编码器。ViT的突破证明了Transformer在CV领域的潜力。Swin Transformer(2021)——通过移位窗口(Shifted Window)实现分层特征提取,性能超越CNN。DETR(2020)——将目标检测转化为集合预测问题,用Transformer解码器直接输出检测结果,去掉了NMS后处理。Deformable DETR(2021)——引入可变形注意力,加速DETR收敛。SegFormer(2021)——基于Transformer的高效语义分割模型。MAE(Masked Autoencoder,2022)——通过随机mask图像patch进行自监督预训练,在多个下游任务中表现优异。
4.3.4 训练技巧
数据增强:几何变换(随机翻转、随机裁剪、旋转、缩放);颜色变换(颜色抖动、亮度/对比度/饱和度调整);高级增强(Cutout——随机遮挡图像块;Mixup——两张图像按比例混合;CutMix——将一张图像的patch粘贴到另一张图像上;RandAugment——随机选择增强操作组合)。正则化:Dropout(随机丢弃神经元);DropPath(随机丢弃网络路径,在Transformer中常用);Label Smoothing(将硬标签平滑化,防止过拟合);Weight Decay(权重衰减,AdamW中解耦使用)。归一化:Batch Normalization(在batch维度归一化,适合CNN);Layer Normalization(在特征维度归一化,适合Transformer);Instance Normalization(在单样本的通道维度归一化,适合风格迁移);Group Normalization(分组归一化,适合小batch场景)。
4.4 生成模型
生成模型是CV领域的前沿方向,在图像生成、视频生成、图像编辑、3D生成等任务中取得了令人瞩目的成果。
4.4.1 GAN(生成对抗网络)
GAN由生成器和判别器组成,通过对抗训练学习数据分布。生成器尝试生成逼真的样本,判别器尝试区分真实样本和生成样本。DCGAN——将CNN引入GAN,生成器和判别器都使用卷积结构。StyleGAN——通过风格调制实现高质量、可控的人脸生成,在图像生成质量上树立了标杆。CycleGAN——无需配对训练数据,实现两个域之间的图像风格转换。Pix2Pix——基于配对训练数据的图像到图像转换。
4.4.2 VAE(变分自编码器)
VAE由编码器和解码器组成,将输入映射到潜在空间分布,再从潜在空间采样生成新样本。编码器输出潜在分布的均值和方差,通过重参数化技巧实现可微采样。VAE的损失函数包含重构损失(最小化输入与输出的差异)和KL散度正则化(约束潜在分布接近标准正态分布)。VAE生成的图像通常比GAN模糊,但潜在空间更规整,插值效果更好。
4.4.3 扩散模型(Diffusion Models)
扩散模型是当前最受关注的生成模型范式。DDPM(去噪扩散概率模型)——前向过程逐步向数据添加高斯噪声,反向过程学习去噪恢复数据。Stable Diffusion——在潜在空间中进行扩散,大幅降低计算成本,使文生图模型能够在消费级GPU上运行。核心组件包括:VAE(图像-潜在空间编解码)、U-Net(预测噪声)、CLIP Text Encoder(文本编码)。Classifier-Free Guidance——通过调节条件和无条件预测的混合比例,控制生成过程对文本条件的遵循程度。ControlNet——在Stable Diffusion基础上添加可训练的控制分支,实现边缘、姿态、深度图等条件控制。
4.4.4 自回归模型
自回归模型将图像生成视为序列生成问题。VQ-VAE——将图像编码为离散的潜在编码,再通过自回归模型(如PixelCNN、Transformer)逐个生成编码。VQGAN——在VQ-VAE的框架下引入GAN的判别器,提升生成质量。DALL-E——使用Transformer自回归生成图像token,第一个将大规模自回归模型用于文本到图像生成。
4.5 多模态学习
多模态学习是CV的最新前沿方向,旨在联合理解视觉和语言等多种模态的信息。
4.5.1 视觉-语言预训练
CLIP——通过对比学习在大规模图文对上进行预训练,学习图像和文本的统一表示空间。CLIP的核心思想是:匹配的图文对在特征空间中距离近,不匹配的距离远。CLIP的zero-shot分类能力令人印象深刻,证明了大规模图文预训练的有效性。BLIP-2——使用Q-Former桥接视觉编码器和语言模型,高效利用预训练的视觉和语言模型。LLaVA——将视觉编码器与大语言模型连接,实现多模态对话能力。
4.5.2 多模态理解
图像描述生成(Image Captioning):从CNN+RNN/LSTM的编码器-解码器架构,到基于Transformer的端到端模型。视觉问答(VQA):给定图像和问题,生成答案。需要融合视觉特征和语言特征,进行多模态推理。视觉定位(Visual Grounding):根据文本描述在图像中定位目标。Grounding DINO将目标检测和视觉定位统一到一个框架中。
4.5.3 多模态生成
文生图(Text-to-Image):Stable Diffusion、DALL-E 3、Midjourney等。文本条件控制生成过程。文生视频(Text-to-Video):Sora、Runway Gen-3、可灵等。在文生图的基础上引入时间维度建模。图像到3D:从单张或多张图像生成3D模型。DreamFusion通过SDS技术利用2D扩散模型引导3D优化。
五、知识体系的学习建议
5.1 学习顺序建议
三大支柱的学习不是孤立的,而是相互交织的。建议的学习顺序如下:
第一阶段:编程基础(Python)先行,因为后续所有实践都需要编程能力。在学Python的同时,可以穿插学习基础的图像处理,通过OpenCV实际操作图像,建立感性认识。
第二阶段:数学基础与机器学习并行。在学习线性代数、概率论的同时,学习机器学习的经典算法,将数学概念与算法应用对照理解。例如,学习SVD后立即用PCA降维进行实践;学习梯度下降后立即用线性回归进行实验。
第三阶段:深度学习与CV任务并行。在掌握了深度学习基础后,立即进入CV核心任务的学习和实践。每个任务(分类、检测、分割)都从经典论文出发,动手复现,在实践中深化理解。
第四阶段:持续学习与深耕。在掌握基础后,选择感兴趣的方向进行深耕,同时保持对前沿进展的关注。
5.2 学习资源矩阵
| 知识模块 | 入门资源 | 进阶资源 | 实践资源 |
|---|---|---|---|
| 线性代数 | 3Blue1Brown《线性代数的本质》 | MIT 18.06 Gilbert Strang | NumPy练习 |
| 概率论 | 可汗学院概率统计 | 《概率论与数理统计》浙大版 | 用Python实现概率分布 |
| 微积分 | 3Blue1Brown《微积分的本质》 | MIT 18.01 | 手动推导反向传播 |
| 优化 | 吴恩达课程中的优化部分 | Boyd《Convex Optimization》 | 实现各种优化器 |
| Python | 《Python编程:从入门到实践》 | Fluent Python | LeetCode练习 |
| C++ | 《C++ Primer》 | Effective Modern C++ | CUDA/C++项目 |
| 机器学习 | 吴恩达《机器学习》 | 《统计学习方法》李航 | Kaggle竞赛 |
| 深度学习 | 李沐《动手学深度学习》 | 《深度学习》花书 | 复现经典论文 |
| CV任务 | CS231n课程 | CVPR/ICCV/ECCV论文 | MMDetection/MMSeg |
5.3 持续学习的方法论
计算机视觉领域的技术更新速度非常快,持续学习是必备的生存技能。建议建立自己的信息获取和筛选机制:关注顶级会议(CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR)的论文;关注领域内的重要研究者和实验室;利用Papers With Code跟踪论文和代码;每周抽出固定时间阅读论文和技术博客。
同时,输出是最好的学习。通过写技术博客、做技术分享、参与开源项目、在GitHub上发布自己的项目,不仅能够加深理解,还能建立自己的技术影响力。在学习过程中遇到的概念、算法、技巧,尝试用自己的语言重新解释,检查是否真正理解了本质。
计算机视觉的知识体系庞大而精深,但并非不可攀登。数学提供理论工具,编程提供实现手段,算法提供方法框架。三大支柱相互支撑,缺一不可。希望本文对知识体系的系统梳理,能够帮助每一位CV学习者建立清晰的学习地图,在浩瀚的知识海洋中找到自己的航向。