当前位置:首页>python>一天一个Python知识点——Day 157:图像特征提取

一天一个Python知识点——Day 157:图像特征提取

  • 2026-10-02 21:27:32
一天一个Python知识点——Day 157:图像特征提取

昨天我们用OpenCV处理图像,学会了滤波、边缘检测、人脸识别。但如果你想让计算机认出同一物体的不同照片(比如从不同角度拍摄的同一个杯子),该怎么办?

问题:同一个物体在不同图像中,位置、大小、旋转角度可能完全不同。如何让计算机“认出”它们?

答案:特征提取——从图像中找出那些稳定、可重复、具有区分性的关键点,并为每个关键点生成一个“指纹”(特征描述符)。

特征 = 关键点 + 描述符

  • 关键点:图像中独特的点(角点、斑点、边缘交叉点)

  • 描述符:记录关键点周围信息的向量(相当于该点的“身份证号”)

为什么需要特征提取?

应用场景
传统方法的困难
特征提取的解决方案
图像拼接
不知道两张图重叠部分
找到匹配的特征点,计算变换矩阵
物体识别
物体角度、大小变化
特征点对旋转、缩放不变
全景图
多张照片对齐
特征匹配 + 单应性矩阵
增强现实
跟踪平面
特征点定位
三维重建
多视图对应点
特征匹配确定对应关系

特征提取的核心要求

一个好的特征提取算法必须满足:

  1. 可重复性:同一场景在不同图像中,相同位置应被检测到

  2. 独特性:不同位置的特征描述符差异要大

  3. 不变性:对图像变换(旋转、缩放、光照)鲁棒

  4. 高效性:能在合理时间内计算

经典特征提取算法巡礼

Harris角点检测(1988)—— 特征的起源

核心思想:窗口向任意方向移动,灰度都发生剧烈变化的点,就是角点。

import cv2import numpy as npimg = cv2.imread('building.jpg')gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# Harris角点检测dst = cv2.cornerHarris(gray, blockSize=2, ksize=3, k=0.04)# 标记角点img[dst > 0.01 * dst.max()] = [0, 0, 255]  # 红色标记cv2.imshow('Harris Corners', img)cv2.waitKey(0)cv2.destroyAllWindows()

优点:简单、旋转不变
缺点:不具备尺度不变性——缩放后可能检测不到

SIFT(尺度不变特征变换)—— 特征提取的里程碑

2004年,David Lowe提出SIFT算法,彻底改变了计算机视觉。它同时解决了尺度不变性和旋转不变性。

SIFT的四步:

  1. 尺度空间极值检测:在不同尺度上搜索潜在关键点

  2. 关键点定位:精确定位,去除低对比度点和边缘点

  3. 方向分配:为每个关键点指定主方向(实现旋转不变)

  4. 关键点描述:生成128维描述符向量

import cv2img = cv2.imread('cat.jpg')gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 创建SIFT对象sift = cv2.SIFT_create()# 检测关键点并计算描述符keypoints, descriptors = sift.detectAndCompute(gray, None)# 绘制关键点img_with_kp = cv2.drawKeypoints(img, keypoints, None,                                  flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)cv2.imshow('SIFT Keypoints', img_with_kp)cv2.waitKey(0)

关键点可视化:每个关键点绘制为圆圈,半径表示尺度,线段表示方向。

SURF(加速鲁棒特征)—— SIFT的加速版

SURF是SIFT的加速变体,使用Hessian矩阵和Haar小波,速度提升数倍。

# 注意:OpenCV中SURF需要额外安装opencv-contrib-pythonsurf = cv2.xfeatures2d.SURF_create(hessianThreshold=400)keypoints, descriptors = surf.detectAndCompute(gray, None)

ORB(定向FAST和旋转BRIEF)—— 高效、免费、开源

SIFT和SURF有专利限制,商业使用需付费。ORB是OpenCV开发的免费替代品,综合性能优秀。

ORB = FAST关键点检测 + BRIEF描述符改进

import cv2img = cv2.imread('cat.jpg')gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 创建ORB对象(默认1000个关键点)orb = cv2.ORB_create(nfeatures=500)# 检测关键点并计算描述符keypoints, descriptors = orb.detectAndCompute(gray, None)# 绘制关键点(ORB不提供尺度方向绘图,简单画点)img_with_kp = cv2.drawKeypoints(img, keypoints, None, color=(0,255,0))cv2.imshow('ORB Keypoints', img_with_kp)cv2.waitKey(0)

ORB的优势:

  • 完全免费,无专利限制

  • 速度极快(比SIFT快两个数量级)

  • 适合实时应用(SLAM、AR)

算法对比表

算法
专利
尺度不变
旋转不变
速度
适用场景
Harris
无
❌
✅
快
基础教学
SIFT
有(2020年过期)
✅
✅
慢
高精度匹配
SURF
有
✅
✅
中
替代SIFT
ORB
无
✅
✅
极快
实时系统

特征匹配——让关键点“牵手”

有了关键点和描述符,下一步就是匹配——找到两幅图像中对应的特征点。

暴力匹配器(Brute-Force Matcher)

对第一幅图的每个描述符,计算与第二幅图所有描述符的距离,取最近者。

import cv2import numpy as np# 读取两张图像img1 = cv2.imread('box.png', cv2.IMREAD_GRAYSCALE)img2 = cv2.imread('box_in_scene.png', cv2.IMREAD_GRAYSCALE)# 初始化ORBorb = cv2.ORB_create()# 检测关键点和描述符kp1, des1 = orb.detectAndCompute(img1, None)kp2, des2 = orb.detectAndCompute(img2, None)# 创建暴力匹配器(使用汉明距离,因为ORB描述符是二进制)bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)# 匹配matches = bf.match(des1, des2)# 按距离排序(距离越小越好)matches = sorted(matches, key=lambda x: x.distance)# 绘制前20个匹配img_matches = cv2.drawMatches(img1, kp1, img2, kp2, matches[:20], None,                              flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)cv2.imshow('Matches', img_matches)cv2.waitKey(0)

KNN匹配 + Lowe's比率测试

更好的方法是使用KNN匹配(取最近的两个匹配),然后用比率测试剔除模糊匹配。

# KNN匹配(k=2)bf = cv2.BFMatcher(cv2.NORM_HAMMING)matches = bf.knnMatch(des1, des2, k=2)# Lowe's比率测试good_matches = []for m, n in matches:    if m.distance < 0.75 * n.distance:        good_matches.append(m)# 绘制好匹配img_good = cv2.drawMatches(img1, kp1, img2, kp2, good_matches, None,                          flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)

FLANN匹配器(快速最近邻库)

当特征点数量很大时(如SIFT的数千个点),暴力匹配太慢。FLANN使用KD树等索引结构加速。

# FLANN参数(ORB需用LSH索引)FLANN_INDEX_LSH = 6index_params = dict(algorithm=FLANN_INDEX_LSH,                    table_number=6,                    key_size=12,                    multi_probe_level=1)search_params = dict(checks=50)flann = cv2.FlannBasedMatcher(index_params, search_params)matches = flann.knnMatch(des1, des2, k=2)

实战项目——图像拼接(全景图生成)

将今天学的所有知识串联起来,实现一个自动图像拼接程序。

原理

  1. 提取两张图像的特征点(SIFT/ORB)

  2. 匹配特征点

  3. 用RANSAC算法估计单应性矩阵(Homography)

  4. 将第二张图像变换到第一张图像的坐标系

  5. 融合两张图像

完整代码

import cv2import numpy as npclass ImageStitcher:    """图像拼接器"""    def __init__(self, method='ORB'):        self.method = method        if method == 'SIFT':            self.detector = cv2.SIFT_create()            self.norm = cv2.NORM_L2        else:  # ORB            self.detector = cv2.ORB_create()            self.norm = cv2.NORM_HAMMING    def detect_and_compute(self, img):        """检测关键点和描述符"""        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)        kp, des = self.detector.detectAndCompute(gray, None)        return kp, des    def match_features(self, des1, des2):        """特征匹配 + Lowe's比率测试"""        if self.method == 'ORB':            bf = cv2.BFMatcher(self.norm)        else:  # SIFT            bf = cv2.BFMatcher(self.norm)        matches = bf.knnMatch(des1, des2, k=2)        # 比率测试        good = []        for m, n in matches:            if m.distance < 0.75 * n.distance:                good.append(m)        return good    def find_homography(self, kp1, kp2, matches):        """用RANSAC求单应性矩阵"""        if len(matches) < 4:            return None        src_pts = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2)        dst_pts = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2)        H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)        return H    def stitch(self, img1, img2):        """拼接两张图像"""        # 1. 特征提取        kp1, des1 = self.detect_and_compute(img1)        kp2, des2 = self.detect_and_compute(img2)        # 2. 特征匹配        matches = self.match_features(des1, des2)        print(f"找到 {len(matches)} 个匹配点")        # 3. 计算单应性矩阵        H = self.find_homography(kp1, kp2, matches)        if H is None:            print("无法计算单应性矩阵")            return None        # 4. 计算拼接后图像尺寸        h1, w1 = img1.shape[:2]        h2, w2 = img2.shape[:2]        # 将img1的四个角点变换到img2坐标系        corners1 = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)        corners1_trans = cv2.perspectiveTransform(corners1, H)        # 合并所有角点        corners = np.concatenate((corners1_trans,                                  np.float32([[0,0],[0,h2],[w2,h2],[w2,0]]).reshape(-1,1,2)))        # 计算最小矩形包围所有角点        [xmin, ymin] = np.int32(corners.min(axis=0).ravel() - 0.5)        [xmax, ymax] = np.int32(corners.max(axis=0).ravel() + 0.5)        # 平移变换矩阵(将图像移动到正坐标)        H_trans = np.array([[1, 0, -xmin], [0, 1, -ymin], [0, 0, 1]], dtype=np.float32)        # 5. 变换并融合        result = cv2.warpPerspective(img1, H_trans @ H, (xmax - xmin, ymax - ymin))        result[-ymin:-ymin + h2, -xmin:-xmin + w2] = img2        return result# 使用示例if __name__ == '__main__':    # 读取两张有重叠的图像    img_left = cv2.imread('left.jpg')    img_right = cv2.imread('right.jpg')    if img_left is None or img_right is None:        print("请确保 left.jpg 和 right.jpg 存在")        exit()    stitcher = ImageStitcher(method='ORB')    result = stitcher.stitch(img_left, img_right)    if result is not None:        cv2.imshow('Stitched Panorama', result)        cv2.waitKey(0)        cv2.imwrite('panorama.jpg', result)    cv2.destroyAllWindows()

代码亮点:

  • 自动计算画布大小,不丢失任何像素

  • 支持SIFT和ORB两种特征

  • 使用RANSAC剔除错误匹配

特征提取的现代发展

深度学习方法

传统特征提取正在被深度学习取代:

  • SuperPoint:自监督学习的特征点检测器

  • D2-Net:联合检测和描述

  • LoFTR:无检测器的特征匹配(Transformer)

但在很多嵌入式应用中,ORB等传统方法因其轻量、快速、无需GPU仍占主导。

应用展望

领域
技术
说明
SLAM
ORB-SLAM
基于ORB的实时定位与建图
3D重建
SIFT + MVS
多视图立体视觉
图像检索
词袋模型
用特征聚类构建视觉词汇
全景拼接
AutoStitch
经典算法(基于SIFT)

特征提取——传统视觉的精华

今天我们学习了计算机视觉中一个经典而优雅的领域——特征提取。从Harris到SIFT,再到ORB,这些算法凝聚了视觉研究者数十年的智慧。

为什么今天还要学这些?

  1. 理解本质:深度学习虽然强大,但特征提取的思想(关键点+描述符)是理解现代视觉的基础。

  2. 实用价值:在资源受限的设备上,传统方法仍是首选。

  3. 启发创新:许多深度学习网络的设计,正是借鉴了这些经典思想。

最新文章

随机文章