Python re模块:正则表达式实战指南,文本处理的瑞士军刀!

# 推荐：使用原始字符串pattern = r'\d+\.\d+'# 匹配浮点数# 不推荐：普通字符串需要双重转义pattern = '\\d+\\.\\d+'# 同样的模式，但可读性差

import re# 未编译：每次调用都会重新编译正则表达式for i in range(1000):    matches = re.findall(r'\d+', f'文本{i}')# 已编译：只需编译一次，后续高效复用pattern = re.compile(r'\d+')  # 编译成正则表达式对象for i in range(1000):    matches = pattern.findall(f'文本{i}')

import re# 匹配成功：起始位置符合模式match_result = re.match(r'hello', 'hello world')if match_result:    print(f"匹配成功: {match_result.group()}")  # 输出: helloelse:    print("匹配失败")# 匹配失败：起始位置不符合模式match_result = re.match(r'world', 'hello world')print(match_result)  # 输出: None# 实际应用：验证URL协议url = 'https://example.com'if re.match(r'^https?://', url):    print("有效的HTTP/HTTPS URL")else:    print("无效的URL协议")

import re# 在任意位置搜索text = "商品价格: ¥299.99，折扣价: ¥249.99"search_result = re.search(r'\d+\.\d+', text)if search_result:    print(f"找到价格: {search_result.group()}")  # 输出: 299.99    print(f"位置: {search_result.span()}")      # 输出: (6, 12)# 查找首次出现的邮箱email_text = "联系我们: support@example.com 或 sales@company.org"email_match = re.search(r'[\w\.-]+@[\w\.-]+\.\w+', email_text)if email_match:    print(f"找到邮箱: {email_match.group()}")  # 输出: support@example.com

import re# 提取所有数字text = "订单号: 12345, 金额: ¥599.00, 数量: 3"numbers = re.findall(r'\d+', text)print(f"所有数字: {numbers}")  # 输出: ['12345', '599', '00', '3']# 提取所有日期date_text = "事件: 2023-08-15, 会议: 2024-12-01, 截止: 2025-02-28"dates = re.findall(r'\d{4}-\d{2}-\d{2}', date_text)print(f"所有日期: {dates}")  # 输出: ['2023-08-15', '2024-12-01', '2025-02-28']# 分组提取：返回元组列表contact_text = "姓名: 张三, 电话: 13800138000; 姓名: 李四, 电话: 13900139000"contacts = re.findall(r'姓名: (\w+), 电话: (\d{11})', contact_text)print(f"联系人信息: {contacts}")  # 输出: [('张三', '13800138000'), ('李四', '13900139000')]

import re# 迭代处理大文本text = "错误1: 网络超时; 错误2: 文件未找到; 错误3: 权限不足"error_iter = re.finditer(r'错误\d+: (\w+)', text)print("所有错误详情:")for match in error_iter:    error_num = match.group(0)     # 整个匹配，如"错误1: 网络超时"    error_desc = match.group(1)    # 第一个分组，如"网络超时"    start_pos, end_pos = match.span()    print(f"  {error_num} - {error_desc} (位置: {start_pos}-{end_pos})")# 输出:# 所有错误详情:#   错误1: 网络超时 - 网络超时 (位置: 0-8)#   错误2: 文件未找到 - 文件未找到 (位置: 10-19)#   错误3: 权限不足 - 权限不足 (位置: 21-28)

import re# 基础替换：隐藏手机号中间四位text = "用户电话: 13800138000, 客服: 13912345678"protected_text = re.sub(r'(\d{3})\d{4}(\d{4})', r'\1****\2', text)print(f"脱敏后: {protected_text}")# 输出: 用户电话: 138****8000, 客服: 139****5678# 函数替换：动态生成替换内容defto_upper(match):"""将匹配的单词转为大写"""return match.group().upper()text = "python is awesome! learn python today."result = re.sub(r'\b\w+\b', to_upper, text)print(f"大写后: {result}")  # 输出: PYTHON IS AWESOME! LEARN PYTHON TODAY.# 复杂替换：格式化日期dates_text = "2023/08/15, 2024-12-01, 2025.02.28"standardized = re.sub(r'(\d{4})[/.-](\d{2})[/.-](\d{2})', r'\1-\2-\3', dates_text)print(f"标准化日期: {standardized}")  # 输出: 2023-08-15, 2024-12-01, 2025-02-28

import re# 复杂分隔符：逗号、空格、分号任意组合text = "apple, banana  orange;grape; mango"parts = re.split(r'[,\s;]+', text)print(f"分割结果: {parts}")  # 输出: ['apple', 'banana', 'orange', 'grape', 'mango']# 保留分隔符：使用捕获分组text = "10+20-30*40/50"parts = re.split(r'([+\-*/])', text)print(f"带运算符的分割: {parts}")  # 输出: ['10', '+', '20', '-', '30', '*', '40', '/', '50']# 多字符分隔符text = "Python::Java::C++::JavaScript"languages = re.split(r'::', text)print(f"编程语言: {languages}")  # 输出: ['Python', 'Java', 'C++', 'JavaScript']

import retext = "<div>内容1</div><div>内容2</div>"# 贪婪匹配：匹配尽可能多的字符greedy_match = re.findall(r'<div>.*</div>', text)print(f"贪婪匹配: {greedy_match}")  # 输出: ['<div>内容1</div><div>内容2</div>']# 非贪婪匹配：匹配尽可能少的字符non_greedy_match = re.findall(r'<div>.*?</div>', text)print(f"非贪婪匹配: {non_greedy_match}")  # 输出: ['<div>内容1</div>', '<div>内容2</div>']

import re# 基础分组：提取区号和号码phone = "电话: (010) 1234-5678"match = re.search(r'<inline_LaTeX_Formula>(\d{3})<\inline_LaTeX_Formula>\s*(\d{4})-(\d{4})', phone)if match:    print(f"整个匹配: {match.group(0)}")  # 输出: (010) 1234-5678    print(f"区号: {match.group(1)}")      # 输出: 010    print(f"号码前四位: {match.group(2)}")  # 输出: 1234    print(f"号码后四位: {match.group(3)}")  # 输出: 5678    print(f"所有分组: {match.groups()}")   # 输出: ('010', '1234', '5678')# 命名分组：提高代码可读性log_line = '192.168.1.1 - - [10/Oct/2023:13:55:36] "GET /index.html HTTP/1.1" 200 1024'pattern = r'(?P<ip>\d+\.\d+\.\d+\.\d+).*?"(?P<method>\w+) (?P<url>[^\s]+) HTTP'match = re.match(pattern, log_line)if match:    print(f"IP地址: {match.group('ip')}")      # 输出: 192.168.1.1    print(f"请求方法: {match.group('method')}") # 输出: GET    print(f"请求路径: {match.group('url')}")   # 输出: /index.html    print(f"字典形式: {match.groupdict()}")    # 输出: {'ip': '192.168.1.1', 'method': 'GET', 'url': '/index.html'}

import re# 正向前瞻：匹配后面跟着"美元"的数字text = "价格: 100美元, 200人民币, 300美元"usd_prices = re.findall(r'\d+(?=美元)', text)print(f"美元价格: {usd_prices}")  # 输出: ['100', '300']# 负向前瞻：匹配后面不跟着"人民币"的数字non_cny_prices = re.findall(r'\d+(?!人民币)', text)print(f"非人民币价格: {non_cny_prices}")  # 输出: ['100', '20', '300']# 正向后顾：匹配前面是"$"的数字text2 = "报价: $150, ¥200, $300"dollar_prices = re.findall(r'(?<=\$)\d+', text2)print(f"美元报价: {dollar_prices}")  # 输出: ['150', '300']

import refrom collections import defaultdictdefparse_nginx_log(log_lines):"""解析Nginx访问日志，提取结构化数据"""# 编译高效的正则模式（使用命名分组提高可读性）    pattern = re.compile(r'(?P<ip>\d+\.\d+\.\d+\.\d+)\s-\s-\s'# IP地址r'\[(?P<datetime>[^\]]+)\]\s'# 时间戳r'"(?P<method>\w+)\s(?P<url>[^\s]+)\s[^"]+"\s'# 请求行r'(?P<status>\d{3})\s(?P<size>\d+)'# 状态码和大小    )    stats = {'total_requests': 0,'status_codes': defaultdict(int),'top_ips': defaultdict(int),'methods': defaultdict(int)    }for line in log_lines:        match = pattern.search(line)ifnot match:continue        info = match.groupdict()        stats['total_requests'] += 1        stats['status_codes'][info['status']] += 1        stats['top_ips'][info['ip']] += 1        stats['methods'][info['method']] += 1return stats# 示例日志数据sample_logs = ['192.168.1.1 - - [10/Oct/2023:13:55:36 +0800] "GET /index.html HTTP/1.1" 200 1024','192.168.1.2 - - [10/Oct/2023:13:55:37 +0800] "POST /api/login HTTP/1.1" 401 512','192.168.1.1 - - [10/Oct/2023:13:55:38 +0800] "GET /static/css/style.css HTTP/1.1" 200 2048',]# 执行解析results = parse_nginx_log(sample_logs)print(f"总请求数: {results['total_requests']}")print(f"状态码分布: {dict(results['status_codes'])}")print(f"IP访问统计: {dict(results['top_ips'])}")print(f"请求方法统计: {dict(results['methods'])}")

import redefclean_financial_data(text):"""清洗金融数据文本，提取标准化信息"""    result = {'amounts': [],'dates': [],'percentages': [],'cleaned_text': text    }# 提取金额（支持千分位分隔符）    amount_pattern = r'\$?\s*\d{1,3}(?:,\d{3})*(?:\.\d{2})?'    amounts = re.findall(amount_pattern, text)    result['amounts'] = [re.sub(r'[^\d.]', '', amt) for amt in amounts]# 提取日期（支持多种格式）    date_pattern = r'\b\d{4}[-./]\d{1,2}[-./]\d{1,2}\b'    dates = re.findall(date_pattern, text)# 标准化为YYYY-MM-DD格式    result['dates'] = []for date in dates:# 统一分隔符为短横线        normalized = re.sub(r'[-./]', '-', date)# 补零：确保月和日都是两位数        parts = normalized.split('-')if len(parts) == 3:            year, month, day = parts            month = month.zfill(2)            day = day.zfill(2)            result['dates'].append(f'{year}-{month}-{day}')# 提取百分比    percent_pattern = r'(\d{1,3}(?:\.\d+)?)%'    percents = re.findall(percent_pattern, text)    result['percentages'] = [str(float(p)/100) for p in percents]# 清洗原始文本（移除多余空格、特殊字符）    cleaned = re.sub(r'\s+', ' ', text)  # 多个空格合并为一个    cleaned = re.sub(r'[^\w\s.,$%()-]', '', cleaned)  # 保留基本字符    result['cleaned_text'] = cleaned.strip()return result# 示例金融文本financial_text = """2023年Q4财报显示: 总收入: $1,250,750.50，同比增长 15.5%净收入: ¥850,300.00，环比增长 8.2%报告日期: 2023/12/31, 发布日期: 2024-1-15"""# 执行清洗cleaned_data = clean_financial_data(financial_text)print(f"提取的金额: {cleaned_data['amounts']}")print(f"提取的日期: {cleaned_data['dates']}")print(f"提取的百分比: {cleaned_data['percentages']}")print(f"清洗后的文本: {cleaned_data['cleaned_text']}")

import reclassFormValidator:"""表单验证器，使用正则表达式进行输入验证"""def__init__(self):# 编译常用验证模式（提高性能）        self.patterns = {'email': re.compile(r'^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$'            ),'phone_cn': re.compile(r'^1[3-9]\d{9}$'# 中国大陆手机号            ),'password': re.compile(r'^(?=.*[a-z])(?=.*[A-Z])(?=.*\d)(?=.*[@$!%*?&])[A-Za-z\d@$!%*?&]{8,}$'            ),'username': re.compile(r'^[a-zA-Z0-9_-]{3,20}$'# 3-20位字母数字下划线短横线            ),'url': re.compile(r'^https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+[/\w.-]*\??[\w=&%-]*$'            ),'ipv4': re.compile(r'^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}'r'(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)$'            )        }defvalidate(self, field_type, value):"""验证指定类型的字段值"""if field_type notin self.patterns:raise ValueError(f"不支持的字段类型: {field_type}")        pattern = self.patterns[field_type]return bool(pattern.fullmatch(value))  # 使用fullmatch确保整个字符串匹配defextract_emails(self, text):"""从文本中提取所有邮箱地址"""return self.patterns['email'].findall(text)defsanitize_html(self, html):"""简单HTML标签清理（防止XSS攻击）"""# 只允许安全的HTML标签和属性        safe_html = re.sub(r'<script\b[^>]*>(.*?)</script>', '', html, flags=re.IGNORECASE)        safe_html = re.sub(r'on\w+="[^"]*"', '', safe_html)  # 移除事件处理器return safe_html# 使用示例validator = FormValidator()# 邮箱验证test_emails = ["user@example.com",      # 有效"invalid.email@com",     # 无效（顶级域名太短）"name@domain.co.uk",     # 有效"admin@localhost",       # 无效（缺少顶级域名）]print("邮箱验证结果:")for email in test_emails:    is_valid = validator.validate('email', email)    print(f"  {email}: {'✅ 有效'if is_valid else'❌ 无效'}")# 提取文本中的邮箱sample_text = "联系我们: support@company.com 或 sales@example.org"emails_found = validator.extract_emails(sample_text)print(f"提取到的邮箱: {emails_found}")

import reimport time# 危险：嵌套贪婪量词导致指数级回溯dangerous_pattern = r'(a+)+b'# 安全：使用原子组避免回溯safe_pattern = r'(?>a+)+b'# 测试性能差异test_string = 'a' * 30 + 'c'# 故意不匹配bprint("性能对比测试:")start = time.time()try:    re.match(dangerous_pattern, test_string)except Exception as e:    print(f"危险模式异常: {e}")print(f"危险模式耗时: {time.time() - start:.4f}秒")start = time.time()re.match(safe_pattern, test_string)print(f"安全模式耗时: {time.time() - start:.4f}秒")

import re# 策略1：缩小匹配范围text = "订单号: ABC-2023-12345-001, 金额: ¥599.00"# 低效：在整个文本中搜索inefficient = re.search(r'\d{5}', text)# 高效：先定位到订单号区域order_section = re.search(r'订单号:\s*(.*?),', text)if order_section:    efficient = re.search(r'\d{5}', order_section.group(1))    print(f"高效匹配结果: {efficient.group() if efficient else'无'}")# 策略2：使用非捕获分组提升性能# 当不需要提取分组内容时，使用(?:...)代替()text = "颜色: red, green, blue"# 捕获分组（存储开销）capture_result = re.findall(r'(red|green|blue)', text)# 非捕获分组（无存储开销）non_capture_result = re.findall(r'(?:red|green|blue)', text)

import re# 使用VERBOSE模式提高复杂模式的可读性complex_pattern = re.compile(r"""    ^                       # 字符串开始    (?P<username>\w+)       # 用户名（字母数字下划线）    @                       # @符号    (?P<domain>             # 域名部分        [\w.-]+             # 子域名        \.                  # 点        [a-zA-Z]{2,}        # 顶级域名（至少2个字母）    )    $                       # 字符串结束""", re.VERBOSE)# 多标志组合使用multi_flags_pattern = re.compile(r"""    ^hello\s+world          # 匹配hello world    .*                      # 任意字符（包括换行）    end$                    # 以end结束""", re.VERBOSE | re.DOTALL | re.IGNORECASE)

import re# 调试模式示例pattern = re.compile(r'\d+\.\d+', re.DEBUG)

import retext = "<div>内容1</div><div>内容2</div>"# 问题：匹配整个字符串problem = re.findall(r'<div>.*</div>', text)# 解决：使用非贪婪模式solution = re.findall(r'<div>.*?</div>', text)