昨天我们用OpenCV处理图像,学会了滤波、边缘检测、人脸识别。但如果你想让计算机认出同一物体的不同照片(比如从不同角度拍摄的同一个杯子),该怎么办?
问题:同一个物体在不同图像中,位置、大小、旋转角度可能完全不同。如何让计算机“认出”它们?
答案:特征提取——从图像中找出那些稳定、可重复、具有区分性的关键点,并为每个关键点生成一个“指纹”(特征描述符)。
特征 = 关键点 + 描述符
为什么需要特征提取?
特征提取的核心要求
一个好的特征提取算法必须满足:
可重复性:同一场景在不同图像中,相同位置应被检测到
独特性:不同位置的特征描述符差异要大
不变性:对图像变换(旋转、缩放、光照)鲁棒
高效性:能在合理时间内计算
经典特征提取算法巡礼
Harris角点检测(1988)—— 特征的起源
核心思想:窗口向任意方向移动,灰度都发生剧烈变化的点,就是角点。
import cv2import numpy as npimg = cv2.imread('building.jpg')gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# Harris角点检测dst = cv2.cornerHarris(gray, blockSize=2, ksize=3, k=0.04)# 标记角点img[dst > 0.01 * dst.max()] = [0, 0, 255] # 红色标记cv2.imshow('Harris Corners', img)cv2.waitKey(0)cv2.destroyAllWindows()
优点:简单、旋转不变
缺点:不具备尺度不变性——缩放后可能检测不到
SIFT(尺度不变特征变换)—— 特征提取的里程碑
2004年,David Lowe提出SIFT算法,彻底改变了计算机视觉。它同时解决了尺度不变性和旋转不变性。
SIFT的四步:
尺度空间极值检测:在不同尺度上搜索潜在关键点
关键点定位:精确定位,去除低对比度点和边缘点
方向分配:为每个关键点指定主方向(实现旋转不变)
关键点描述:生成128维描述符向量
import cv2img = cv2.imread('cat.jpg')gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 创建SIFT对象sift = cv2.SIFT_create()# 检测关键点并计算描述符keypoints, descriptors = sift.detectAndCompute(gray, None)# 绘制关键点img_with_kp = cv2.drawKeypoints(img, keypoints, None, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)cv2.imshow('SIFT Keypoints', img_with_kp)cv2.waitKey(0)
关键点可视化:每个关键点绘制为圆圈,半径表示尺度,线段表示方向。
SURF(加速鲁棒特征)—— SIFT的加速版
SURF是SIFT的加速变体,使用Hessian矩阵和Haar小波,速度提升数倍。
# 注意:OpenCV中SURF需要额外安装opencv-contrib-pythonsurf = cv2.xfeatures2d.SURF_create(hessianThreshold=400)keypoints, descriptors = surf.detectAndCompute(gray, None)
ORB(定向FAST和旋转BRIEF)—— 高效、免费、开源
SIFT和SURF有专利限制,商业使用需付费。ORB是OpenCV开发的免费替代品,综合性能优秀。
ORB = FAST关键点检测 + BRIEF描述符改进
import cv2img = cv2.imread('cat.jpg')gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 创建ORB对象(默认1000个关键点)orb = cv2.ORB_create(nfeatures=500)# 检测关键点并计算描述符keypoints, descriptors = orb.detectAndCompute(gray, None)# 绘制关键点(ORB不提供尺度方向绘图,简单画点)img_with_kp = cv2.drawKeypoints(img, keypoints, None, color=(0,255,0))cv2.imshow('ORB Keypoints', img_with_kp)cv2.waitKey(0)
ORB的优势:
完全免费,无专利限制
速度极快(比SIFT快两个数量级)
适合实时应用(SLAM、AR)
算法对比表
特征匹配——让关键点“牵手”
有了关键点和描述符,下一步就是匹配——找到两幅图像中对应的特征点。
暴力匹配器(Brute-Force Matcher)
对第一幅图的每个描述符,计算与第二幅图所有描述符的距离,取最近者。
import cv2import numpy as np# 读取两张图像img1 = cv2.imread('box.png', cv2.IMREAD_GRAYSCALE)img2 = cv2.imread('box_in_scene.png', cv2.IMREAD_GRAYSCALE)# 初始化ORBorb = cv2.ORB_create()# 检测关键点和描述符kp1, des1 = orb.detectAndCompute(img1, None)kp2, des2 = orb.detectAndCompute(img2, None)# 创建暴力匹配器(使用汉明距离,因为ORB描述符是二进制)bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)# 匹配matches = bf.match(des1, des2)# 按距离排序(距离越小越好)matches = sorted(matches, key=lambda x: x.distance)# 绘制前20个匹配img_matches = cv2.drawMatches(img1, kp1, img2, kp2, matches[:20], None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)cv2.imshow('Matches', img_matches)cv2.waitKey(0)
KNN匹配 + Lowe's比率测试
更好的方法是使用KNN匹配(取最近的两个匹配),然后用比率测试剔除模糊匹配。
# KNN匹配(k=2)bf = cv2.BFMatcher(cv2.NORM_HAMMING)matches = bf.knnMatch(des1, des2, k=2)# Lowe's比率测试good_matches = []for m, n in matches: if m.distance < 0.75 * n.distance: good_matches.append(m)# 绘制好匹配img_good = cv2.drawMatches(img1, kp1, img2, kp2, good_matches, None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)
FLANN匹配器(快速最近邻库)
当特征点数量很大时(如SIFT的数千个点),暴力匹配太慢。FLANN使用KD树等索引结构加速。
# FLANN参数(ORB需用LSH索引)FLANN_INDEX_LSH = 6index_params = dict(algorithm=FLANN_INDEX_LSH, table_number=6, key_size=12, multi_probe_level=1)search_params = dict(checks=50)flann = cv2.FlannBasedMatcher(index_params, search_params)matches = flann.knnMatch(des1, des2, k=2)
实战项目——图像拼接(全景图生成)
将今天学的所有知识串联起来,实现一个自动图像拼接程序。
原理
提取两张图像的特征点(SIFT/ORB)
匹配特征点
用RANSAC算法估计单应性矩阵(Homography)
将第二张图像变换到第一张图像的坐标系
融合两张图像
完整代码
import cv2import numpy as npclass ImageStitcher: """图像拼接器""" def __init__(self, method='ORB'): self.method = method if method == 'SIFT': self.detector = cv2.SIFT_create() self.norm = cv2.NORM_L2 else: # ORB self.detector = cv2.ORB_create() self.norm = cv2.NORM_HAMMING def detect_and_compute(self, img): """检测关键点和描述符""" gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) kp, des = self.detector.detectAndCompute(gray, None) return kp, des def match_features(self, des1, des2): """特征匹配 + Lowe's比率测试""" if self.method == 'ORB': bf = cv2.BFMatcher(self.norm) else: # SIFT bf = cv2.BFMatcher(self.norm) matches = bf.knnMatch(des1, des2, k=2) # 比率测试 good = [] for m, n in matches: if m.distance < 0.75 * n.distance: good.append(m) return good def find_homography(self, kp1, kp2, matches): """用RANSAC求单应性矩阵""" if len(matches) < 4: return None src_pts = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2) dst_pts = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2) H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) return H def stitch(self, img1, img2): """拼接两张图像""" # 1. 特征提取 kp1, des1 = self.detect_and_compute(img1) kp2, des2 = self.detect_and_compute(img2) # 2. 特征匹配 matches = self.match_features(des1, des2) print(f"找到 {len(matches)} 个匹配点") # 3. 计算单应性矩阵 H = self.find_homography(kp1, kp2, matches) if H is None: print("无法计算单应性矩阵") return None # 4. 计算拼接后图像尺寸 h1, w1 = img1.shape[:2] h2, w2 = img2.shape[:2] # 将img1的四个角点变换到img2坐标系 corners1 = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2) corners1_trans = cv2.perspectiveTransform(corners1, H) # 合并所有角点 corners = np.concatenate((corners1_trans, np.float32([[0,0],[0,h2],[w2,h2],[w2,0]]).reshape(-1,1,2))) # 计算最小矩形包围所有角点 [xmin, ymin] = np.int32(corners.min(axis=0).ravel() - 0.5) [xmax, ymax] = np.int32(corners.max(axis=0).ravel() + 0.5) # 平移变换矩阵(将图像移动到正坐标) H_trans = np.array([[1, 0, -xmin], [0, 1, -ymin], [0, 0, 1]], dtype=np.float32) # 5. 变换并融合 result = cv2.warpPerspective(img1, H_trans @ H, (xmax - xmin, ymax - ymin)) result[-ymin:-ymin + h2, -xmin:-xmin + w2] = img2 return result# 使用示例if __name__ == '__main__': # 读取两张有重叠的图像 img_left = cv2.imread('left.jpg') img_right = cv2.imread('right.jpg') if img_left is None or img_right is None: print("请确保 left.jpg 和 right.jpg 存在") exit() stitcher = ImageStitcher(method='ORB') result = stitcher.stitch(img_left, img_right) if result is not None: cv2.imshow('Stitched Panorama', result) cv2.waitKey(0) cv2.imwrite('panorama.jpg', result) cv2.destroyAllWindows()
代码亮点:
自动计算画布大小,不丢失任何像素
支持SIFT和ORB两种特征
使用RANSAC剔除错误匹配
特征提取的现代发展
深度学习方法
传统特征提取正在被深度学习取代:
但在很多嵌入式应用中,ORB等传统方法因其轻量、快速、无需GPU仍占主导。
应用展望
特征提取——传统视觉的精华
今天我们学习了计算机视觉中一个经典而优雅的领域——特征提取。从Harris到SIFT,再到ORB,这些算法凝聚了视觉研究者数十年的智慧。
为什么今天还要学这些?
理解本质:深度学习虽然强大,但特征提取的思想(关键点+描述符)是理解现代视觉的基础。
实用价值:在资源受限的设备上,传统方法仍是首选。
启发创新:许多深度学习网络的设计,正是借鉴了这些经典思想。