一天一个Python知识点——Day 159:目标检测概述

{  'class': 'cat',  'bbox': [100, 150, 200, 300],  # x1, y1, x2, y2  'confidence': 0.95}

for 每个位置:    for 每个尺度:        提取窗口区域        用分类器判断是否为物体

import cv2import numpy as np# 初始化HOG描述符和SVM检测器（OpenCV内置行人检测）hog = cv2.HOGDescriptor()hog.setSVMDetector(cv2.HOGDescriptor_getDefaultPeopleDetector())img = cv2.imread('street.jpg')(rects, weights) = hog.detectMultiScale(img, winStride=(4, 4),                                         padding=(8, 8), scale=1.05)for (x, y, w, h) in rects:    cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2)cv2.imshow('HOG+SVM Pedestrian Detection', img)cv2.waitKey(0)

# 伪代码示意def rcnn_demo(image):    proposals = selective_search(image)  # 2000个候选框    features = []    for box in proposals:        crop = image[box]        crop_resized = resize(crop, (224,224))        feat = cnn.extract_features(crop_resized)  # AlexNet等        features.append(feat)    classes = svm_classifier.predict(features)    boxes = bbox_regressor.refine(proposals, features)    return non_max_suppression(classes, boxes)

# Fast R-CNN 核心：RoI Poolingclass RoIPooling(nn.Module):    def __init__(self, output_size):        super().__init__()        self.output_size = output_size    def forward(self, feature_map, rois):        # rois: (batch_idx, x1, y1, x2, y2)        outputs = []        for roi in rois:            # 从feature_map中裁剪对应区域            # 然后池化到固定尺寸            pooled = adaptive_pool(feature_map[roi], self.output_size)            outputs.append(pooled)        return torch.stack(outputs)

class RPN(nn.Module):    """区域提议网络"""    def __init__(self, in_channels, num_anchors):        super().__init__()        self.conv = nn.Conv2d(in_channels, 512, 3, padding=1)        self.cls = nn.Conv2d(512, num_anchors * 2, 1)  # 物体/背景        self.reg = nn.Conv2d(512, num_anchors * 4, 1)  # 边界框回归    def forward(self, x):        x = F.relu(self.conv(x))        scores = self.cls(x)  # (N, 2*A, H, W)        deltas = self.reg(x)  # (N, 4*A, H, W)        return scores, deltas

输入图像 → 卷积骨干网络（VGG/ResNet） → 特征图                ↙                     ↘          RPN（生成候选框）             RoI Pooling              ↓                            ↓          候选框                     分类 + 回归

# YOLO 输出张量形状： (S, S, B*5 + C)# 例如 S=7, B=2, C=20 → 7×7×30

class SSD(nn.Module):    def __init__(self):        super().__init__()        self.base = VGG16()        self.extra_layers = self.make_extra_layers()        self.loc_layers = nn.ModuleList([            nn.Conv2d(512, 4 * 4, 3, padding=1),   # 对于 conv4_3            nn.Conv2d(1024, 6 * 4, 3, padding=1),  # 对于 conv7            # ... 更多层        ])        self.conf_layers = nn.ModuleList([            nn.Conv2d(512, 4 * num_classes, 3, padding=1),            nn.Conv2d(1024, 6 * num_classes, 3, padding=1),            # ...        ])    def forward(self, x):        sources = []        loc = []        conf = []        # 经过基础网络，收集多个尺度的特征图        for layer in self.base:            x = layer(x)            if layer in self.source_layers:                sources.append(x)        for extra in self.extra_layers:            x = extra(x)            sources.append(x)        # 对每个特征图预测        for (x, l, c) in zip(sources, self.loc_layers, self.conf_layers):            loc.append(l(x).permute(0,2,3,1).contiguous())            conf.append(c(x).permute(0,2,3,1).contiguous())        return loc, conf

class FocalLoss(nn.Module):    def __init__(self, alpha=0.25, gamma=2.0):        super().__init__()        self.alpha = alpha        self.gamma = gamma    def forward(self, preds, targets):        bce_loss = F.binary_cross_entropy_with_logits(preds, targets, reduction='none')        pt = torch.exp(-bce_loss)        focal_loss = self.alpha * (1 - pt) ** self.gamma * bce_loss        return focal_loss.mean()

IoU = (A ∩ B) / (A ∪ B)

# 伪代码：计算 mAPdef compute_map(detections, groundtruths, iou_thresh=0.5):    # detections: 每个图像的预测框列表    # groundtruths: 每个图像的真实框列表    aps = []    for class_id in classes:        tp = []        fp = []        num_gt = sum(len(gt[class_id]) for gt in groundtruths)        for det in sorted(detections[class_id], key=lambda x: x.score, reverse=True):            iou_max = 0            matched = False            for gt in groundtruths[class_id]:                iou = compute_iou(det.bbox, gt.bbox)                if iou > iou_max:                    iou_max = iou                    best_gt = gt            if iou_max >= iou_thresh and not best_gt.matched:                tp.append(1)                fp.append(0)                best_gt.matched = True            else:                tp.append(0)                fp.append(1)        # 计算 precision-recall 曲线        tp_cum = np.cumsum(tp)        fp_cum = np.cumsum(fp)        precisions = tp_cum / (tp_cum + fp_cum + 1e-6)        recalls = tp_cum / num_gt        ap = np.trapz(precisions, recalls)  # 计算曲线下面积        aps.append(ap)    return np.mean(aps)

import cv2import numpy as np# 加载 YOLOnet = cv2.dnn.readNet('yolov4.weights', 'yolov4.cfg')layer_names = net.getLayerNames()output_layers = [layer_names[i - 1] for i in net.getUnconnectedOutLayers()]# 加载类别名称with open('coco.names', 'r') as f:    classes = [line.strip() for line in f.readlines()]# 读取图像img = cv2.imread('street.jpg')height, width, _ = img.shape# 预处理blob = cv2.dnn.blobFromImage(img, 1/255.0, (416, 416), swapRB=True, crop=False)net.setInput(blob)outputs = net.forward(output_layers)# 解析输出boxes, confidences, class_ids = [], [], []for output in outputs:    for detection in output:        scores = detection[5:]        class_id = np.argmax(scores)        confidence = scores[class_id]        if confidence > 0.5:            center_x = int(detection[0] * width)            center_y = int(detection[1] * height)            w = int(detection[2] * width)            h = int(detection[3] * height)            x = int(center_x - w/2)            y = int(center_y - h/2)            boxes.append([x, y, w, h])            confidences.append(float(confidence))            class_ids.append(class_id)# 非极大值抑制indices = cv2.dnn.NMSBoxes(boxes, confidences, 0.5, 0.4)for i in indices:    i = i[0]    x, y, w, h = boxes[i]    label = classes[class_ids[i]]    confidence = confidences[i]    cv2.rectangle(img, (x, y), (x+w, y+h), (0,255,0), 2)    cv2.putText(img, f'{label} {confidence:.2f}', (x, y-10),                cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2)cv2.imshow('YOLOv4 Detection', img)cv2.waitKey(0)

import torchimport torchvisionfrom torchvision import transformsfrom PIL import Imageimport matplotlib.pyplot as pltimport matplotlib.patches as patches# 加载预训练模型model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True)model.eval()# 如果使用GPUdevice = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')model = model.to(device)# 类别名称（COCO 91类）COCO_CLASSES = [    '__background__', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus',    'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'N/A', 'stop sign',    'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',    'elephant', 'bear', 'zebra', 'giraffe', 'N/A', 'backpack', 'umbrella', 'N/A',    'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',    'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard', 'tennis racket',    'bottle', 'N/A', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl',    'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',    'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'N/A', 'dining table',    'N/A', 'toilet', 'N/A', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',    'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'N/A', 'book',    'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush']# 加载图像img = Image.open('street.jpg').convert('RGB')transform = transforms.Compose([transforms.ToTensor()])img_tensor = transform(img).unsqueeze(0).to(device)# 推理with torch.no_grad():    predictions = model(img_tensor)# 可视化fig, ax = plt.subplots(1, figsize=(12,8))ax.imshow(img)for box, label, score in zip(predictions[0]['boxes'], predictions[0]['labels'], predictions[0]['scores']):    if score > 0.5:        x1, y1, x2, y2 = box.tolist()        rect = patches.Rectangle((x1, y1), x2-x1, y2-y1, linewidth=2, edgecolor='r', facecolor='none')        ax.add_patch(rect)        ax.text(x1, y1, f'{COCO_CLASSES[label]}: {score:.2f}', color='white', fontsize=8,                bbox=dict(facecolor='red', alpha=0.5))plt.axis('off')plt.show()