大家好，我是Python与AI智能研习社的小编。今天我们要一起完成一个激动人心的任务——用Python构建你的第一个机器学习预测模型！无论你是刚刚学完Python基础，还是对AI充满好奇但不知从何下手，这篇文章都将带你走完一个完整机器学习项目的全流程。我知道，第一次接触机器学习可能会觉得有些高深莫测，那些术语和步骤听起来就像天书。别担心，今天我不讲复杂理论，咱们就像朋友一起做项目那样，一步步把代码跑起来，看到结果。我保证，跟着做完这个项目，你会对机器学习有实实在在的把握感。我们将使用经典的乳腺癌数据集，通过数据准备、特征工程、模型训练、评估优化，最终构建一个能预测肿瘤是良性还是恶性的分类模型。准备好了吗？让我们开始吧！在开始写代码之前，我们先明确要解决什么问题。假设你是一名医疗数据分析员，医院给了你一批乳腺肿瘤的特征数据（如肿瘤半径、质地、周长等），希望你能建立一个模型，根据这些特征自动判断肿瘤是良性（benign）还是恶性（malignant）。业务价值：这样的模型可以帮助医生进行初步筛查，提高诊断效率，为患者争取宝贵时间。技术目标：构建一个二分类预测模型，输入肿瘤特征，输出“良性”或“恶性”预测结果。整个过程就像烹饪一道菜：先准备食材（数据清洗），再切配调味（特征工程），然后选择烹饪方法（模型选择），接着开火烹饪（模型训练），最后尝味道调整（评估优化），直到菜品上桌（部署应用）。2.数据收集与清洗：使用Pandas处理真实数据集任何机器学习项目都始于数据。幸运的是，Python的scikit-learn库自带了一些经典数据集，我们今天就用乳腺癌数据集（Breast Cancer Wisconsin Dataset），它包含了569个样本、30个特征和1个目标标签（恶性/良性）。# 导入必要的库import pandas as pdimport numpy as npfrom sklearn.datasets import load_breast_cancerimport matplotlib.pyplot as pltimport seaborn as sns# 设置中文字体（如果需要显示中文）plt.rcParams['font.sans-serif'] = ['Noto Sans CJK JP']plt.rcParams['axes.unicode_minus'] = False# 加载数据集cancer = load_breast_cancer()print("数据集特征名称:", cancer.feature_names[:5], "...") # 显示前5个特征名print("目标标签含义:", cancer.target_names) # 显示目标标签含义print("数据形状: 特征矩阵", cancer.data.shape, "目标向量", cancer.target.shape)
数据集特征名称: ['mean radius''mean texture''mean perimeter''mean area''mean smoothness'] ...目标标签含义: ['malignant''benign']数据形状: 特征矩阵 (569, 30) 目标向量 (569,)
在清洗之前，我们先看看数据长什么样，有没有明显问题。# 将数据转为DataFrame方便处理df = pd.DataFrame(cancer.data, columns=cancer.feature_names)df['diagnosis'] = cancer.target # 添加目标列df['diagnosis'] = df['diagnosis'].map({0: 'malignant', 1: 'benign'}) # 映射为可读标签# 查看前几行print("数据预览:")print(df.head())# 查看基本信息print("\n数据基本信息:")print(df.info())# 查看统计摘要print("\n数值特征统计摘要:")print(df.describe().round(2))
真实数据往往有缺失值、异常值等问题，但这个数据集已经过预处理，相对干净。我们还是要检查一下：# 检查缺失值missing_values = df.isnull().sum()print("缺失值统计:")print(missing_values[missing_values > 0])# 检查类别分布（是否均衡）class_distribution = df['diagnosis'].value_counts()print("\n类别分布:")print(class_distribution)print("恶性比例: {:.1%}".format(class_distribution['malignant'] / len(df)))
如果发现有缺失值，常用的处理方法有：删除缺失行、用均值/中位数填充、用算法预测填充等。今天的数据很完整，我们可以跳过这一步。特征工程是机器学习的“灵魂”，好的特征能让模型性能大幅提升。我们分三步：特征选择、转换、标准化。30个特征是否都需要？也许有些特征与目标关系不大，甚至带来噪音。我们先看看特征与目标的相关性。# 计算特征与目标的相关性（需要将目标转为数值）df_numeric = df.copy()df_numeric['diagnosis'] = df_numeric['diagnosis'].map({'malignant': 0, 'benign': 1})# 计算相关系数correlation = df_numeric.corr()['diagnosis'].sort_values(ascending=False)print("与诊断结果相关性最高的10个特征:")print(correlation.head(10))# 可视化相关性plt.figure(figsize=(10, 6))correlation.drop('diagnosis').plot(kind='bar')plt.title('特征与诊断结果的相关性')plt.xlabel('特征')plt.ylabel('相关系数')plt.tight_layout()plt.savefig('outputs/文章/首周/特征相关性.png', dpi=300, bbox_inches='tight')plt.show()
从图中可以看到，worst radius、worst perimeter等特征与诊断结果高度相关（负相关表示恶性时这些值较大）。我们保留所有特征进行后续建模，但在实际项目中，可能会选择 top-k 特征或使用更复杂的特征选择方法。某些特征的分布可能偏斜，我们可以进行对数转换、平方根转换等。这里我们先检查特征的分布。# 查看几个重要特征的分布important_features = ['worst radius', 'mean concave points', 'worst texture', 'mean radius']fig, axes = plt.subplots(2, 2, figsize=(12, 8))axes = axes.flatten()for i, feature in enumerate(important_features): axes[i].hist(df[feature], bins=30, alpha=0.7, color='skyblue', edgecolor='black') axes[i].set_title(f'{feature} 分布') axes[i].set_xlabel(feature) axes[i].set_ylabel('频数')plt.tight_layout()plt.savefig('outputs/文章/首周/特征分布.png', dpi=300, bbox_inches='tight')plt.show()
很多机器学习算法（如SVM、逻辑回归、KNN）对特征的尺度敏感，我们需要将特征标准化到相似的范围。常用方法有：标准化（均值为0，标准差为1）和归一化（缩放到[0,1]区间）。from sklearn.preprocessing import StandardScaler# 分离特征和目标X = df_numeric.drop('diagnosis', axis=1)y = df_numeric['diagnosis']# 标准化特征scaler = StandardScaler()X_scaled = scaler.fit_transform(X)print("标准化后的特征示例（前5行前5列）:")print(pd.DataFrame(X_scaled[:5, :5], columns=X.columns[:5]).round(3))
4.模型选择与训练：Scikit-learn常用算法对比现在是选择“烹饪方法”的时候了。我们将尝试三种经典算法，比较它们的性能。首先要把数据分成两部分：训练集（用来教模型）和测试集（用来评估模型，模拟新数据）。from sklearn.model_selection import train_test_split# 划分数据集：80%训练，20%测试X_train, X_test, y_train, y_test = train_test_split( X_scaled, y, test_size=0.2, random_state=42, stratify=y)print("训练集大小:", X_train.shape)print("测试集大小:", X_test.shape)print("训练集中恶性比例: {:.1%}".format(1 - y_train.mean()))
我们选择逻辑回归、随机森林和支持向量机（SVM）这三个常用算法。from sklearn.linear_model import LogisticRegressionfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.svm import SVCfrom sklearn.metrics import accuracy_score# 初始化模型models = {'逻辑回归': LogisticRegression(random_state=42, max_iter=1000),'随机森林': RandomForestClassifier(random_state=42, n_estimators=100),'支持向量机': SVC(random_state=42, probability=True)}# 训练并评估每个模型results = {}for name, model in models.items(): model.fit(X_train, y_train) y_pred = model.predict(X_test) accuracy = accuracy_score(y_test, y_pred) results[name] = accuracy print(f"{name} 测试集准确率: {accuracy:.3f}")# 找出最佳模型best_model_name = max(results, key=results.get)print(f"\n最佳模型: {best_model_name} (准确率: {results[best_model_name]:.3f})")
运行后，你可能会看到随机森林表现最好（准确率约0.96-0.98）。我们选择随机森林作为基础模型进行后续优化。5.模型评估：准确率、召回率、F1-score等指标解读准确率很高，是不是模型就完美了？不一定！我们需要更全面的评估，特别是对于医疗这种不平衡数据（恶性样本较少）。from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay# 使用随机森林模型best_model = models['随机森林']y_pred = best_model.predict(X_test)cm = confusion_matrix(y_test, y_pred, labels=[0, 1])# 可视化混淆矩阵disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=['恶性', '良性'])disp.plot(cmap='Blues')plt.title('随机森林混淆矩阵')plt.savefig('outputs/文章/首周/混淆矩阵.png', dpi=300, bbox_inches='tight')plt.show()
from sklearn.metrics import classification_reportprint("分类报告:")print(classification_report(y_test, y_pred, target_names=['恶性', '良性']))
- 精确率（Precision） ：预测为恶性的样本中，真正是恶性的比例。我们希望这个值高，避免误诊（将良性误判为恶性）。
- 召回率（Recall） ：实际恶性样本中，被正确预测出来的比例。我们希望这个值高，避免漏诊（将恶性误判为良性）。
- F1-score：精确率和召回率的调和平均数，综合衡量模型性能。
ROC曲线能展示模型在不同阈值下的性能，AUC（曲线下面积）越接近1，模型区分能力越强。from sklearn.metrics import roc_curve, auc# 获取预测概率y_prob = best_model.predict_proba(X_test)[:, 1] # 取正类（良性）概率# 计算ROC曲线fpr, tpr, thresholds = roc_curve(y_test, y_prob)roc_auc = auc(fpr, tpr)# 绘制ROC曲线plt.figure(figsize=(8, 6))plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC曲线 (AUC = {roc_auc:.3f})')plt.plot([0, 1], [0, 1], color='navy', lw=1, linestyle='--', label='随机猜测')plt.xlim([0.0, 1.0])plt.ylim([0.0, 1.05])plt.xlabel('假正率（False Positive Rate）')plt.ylabel('真正率（True Positive Rate）')plt.title('随机森林ROC曲线')plt.legend(loc='lower right')plt.grid(alpha=0.3)plt.savefig('outputs/文章/首周/ROC曲线.png', dpi=300, bbox_inches='tight')plt.show()print(f"AUC分数: {roc_auc:.3f}")
现在的模型是默认参数，我们可以通过调参进一步提升性能。使用网格搜索（Grid Search）和交叉验证（Cross-Validation）。from sklearn.model_selection import GridSearchCV# 定义随机森林的参数网格param_grid = {'n_estimators': [50, 100, 200],'max_depth': [None, 10, 20, 30],'min_samples_split': [2, 5, 10],'min_samples_leaf': [1, 2, 4]}# 初始化网格搜索grid_search = GridSearchCV( estimator=RandomForestClassifier(random_state=42), param_grid=param_grid, cv=5, # 5折交叉验证 scoring='accuracy', n_jobs=-1, # 使用所有CPU核心 verbose=1)# 执行搜索grid_search.fit(X_train, y_train)print("最佳参数:", grid_search.best_params_)print("最佳交叉验证准确率: {:.3f}".format(grid_search.best_score_))
# 使用最佳参数重新训练optimized_model = grid_search.best_estimator_y_pred_opt = optimized_model.predict(X_test)accuracy_opt = accuracy_score(y_test, y_pred_opt)print(f"优化后模型测试集准确率: {accuracy_opt:.3f}")print(f"相比默认模型提升: {(accuracy_opt - results['随机森林']):.3f}")# 特征重要性分析feature_importance = optimized_model.feature_importances_importance_df = pd.DataFrame({'特征': X.columns,'重要性': feature_importance}).sort_values('重要性', ascending=False)print("\nTop 10 重要特征:")print(importance_df.head(10))# 可视化特征重要性plt.figure(figsize=(10, 6))plt.barh(importance_df['特征'][:10][::-1], importance_df['重要性'][:10][::-1])plt.xlabel('特征重要性')plt.title('Top 10 特征重要性')plt.tight_layout()plt.savefig('outputs/文章/首周/特征重要性.png', dpi=300, bbox_inches='tight')plt.show()
模型训练好了，接下来就是“上菜”——部署成可用的服务。我们将模型保存为文件，并创建一个简单的Flask Web应用。import joblib# 保存优化后的模型joblib.dump(optimized_model, 'outputs/文章/首周/breast_cancer_model.pkl')# 保存标准化器（新数据预测时需要同样的标准化）joblib.dump(scaler, 'outputs/文章/首周/scaler.pkl')print("模型和标准化器已保存")
# app.pyfrom flask import Flask, request, jsonify, render_templateimport joblibimport numpy as npimport pandas as pdapp = Flask(__name__)# 加载模型和标准化器model = joblib.load('breast_cancer_model.pkl')scaler = joblib.load('scaler.pkl')# 特征名称（与训练时一致）feature_names = ['mean radius', 'mean texture', 'mean perimeter', 'mean area','mean smoothness', 'mean compactness', 'mean concavity','mean concave points', 'mean symmetry', 'mean fractal dimension','radius error', 'texture error', 'perimeter error', 'area error','smoothness error', 'compactness error', 'concavity error','concave points error', 'symmetry error', 'fractal dimension error','worst radius', 'worst texture', 'worst perimeter', 'worst area','worst smoothness', 'worst compactness', 'worst concavity','worst concave points', 'worst symmetry', 'worst fractal dimension']@app.route('/')defhome():return render_template('index.html', features=feature_names)@app.route('/predict', methods=['POST'])defpredict():try:# 获取JSON数据 data = request.get_json()# 提取特征值 features = []for name in feature_names: features.append(float(data.get(name, 0)))# 转换为数组并标准化 features_array = np.array(features).reshape(1, -1) features_scaled = scaler.transform(features_array)# 预测 prediction = model.predict(features_scaled) probability = model.predict_proba(features_scaled)# 返回结果 result = {'prediction': '良性'if prediction[0] == 1else'恶性','probability_benign': float(probability[0][1]),'probability_malignant': float(probability[0][0]),'confidence': float(max(probability[0]))}return jsonify(result)except Exception as e:return jsonify({'error': str(e)}), 400if __name__ == '__main__': app.run(debug=True, host='0.0.0.0', port=5000)
创建一个 templates/index.html 文件：<!DOCTYPE html><htmllang="zh-CN"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width, initial-scale=1.0"><title>乳腺癌预测模型</title><style>body { font-family: Arial, sans-serif; max-width: 800px; margin: 0 auto; padding: 20px; }h1 { color: #2c3e50; }.form-group { margin-bottom: 15px; }label { display: inline-block; width: 250px; }input { width: 150px; padding: 5px; }button { background-color: #3498db; color: white; border: none; padding: 10px20px; cursor: pointer; }#result { margin-top: 20px; padding: 15px; border-radius: 5px; display: none; }.benign { background-color: #d4edda; color: #155724; }.malignant { background-color: #f8d7da; color: #721c24; }</style></head><body><h1>乳腺癌预测模型</h1><p>请输入肿瘤特征值（示例值已预填）：</p><formid="prediction-form"> {% for feature in features %}<divclass="form-group"><labelfor="{{ feature }}">{{ feature }}:</label><inputtype="number"id="{{ feature }}"name="{{ feature }}"step="0.01"value="{{ (range(10, 30) | random) / 10 }}"></div> {% endfor %}<buttontype="submit">预测诊断结果</button></form><divid="result"></div><script>document.getElementById('prediction-form').addEventListener('submit', asyncfunction(e) { e.preventDefault();const formData = {};{% for feature in features %} formData['{{ feature }}'] = document.getElementById('{{ feature }}').value;{% endfor %}const response = await fetch('/predict', {method: 'POST',headers: { 'Content-Type': 'application/json' },body: JSON.stringify(formData)});const result = await response.json();const resultDiv = document.getElementById('result');if (result.error) { resultDiv.innerHTML = `<div style="background-color:#f8d7da; color:#721c24; padding:15px;">错误: ${result.error}</div>`;} else {const isBenign = result.prediction === '良性';const confidence = (result.confidence * 100).toFixed(1); resultDiv.innerHTML = ` <div class="${isBenign ? 'benign' : 'malignant'}" style="padding:15px;"> <h2>预测结果: ${result.prediction}</h2> <p>置信度: ${confidence}%</p> <p>良性概率: ${(result.probability_benign * 100).toFixed(1)}%</p> <p>恶性概率: ${(result.probability_malignant * 100).toFixed(1)}%</p> <p><small>注意：此结果为模型预测，仅供参考。实际诊断请咨询专业医生。</small></p> </div> `;} resultDiv.style.display = 'block';});</script></body></html>
pip install flask scikit-learn pandas numpypython app.py
访问 http://localhost:5000 即可使用预测界面。输入肿瘤特征值，点击预测，就能看到模型给出的诊断预测和置信度。恭喜你！你已经完成了第一个完整的机器学习项目。让我们回顾一下今天的成果：- 完整流程体验：从数据收集到模型部署，走完了机器学习项目全流程
- 实战技能掌握：学会了数据清洗、特征工程、模型训练与评估、超参数调优
- 可复用代码：获得了可以直接复用的Python代码，稍作修改就能应用到其他项目
- 全面评估模型，不只关注准确率，还重视召回率、ROC曲线等指标
- 数据泄露：切记不要在标准化时使用测试集的数据来拟合（即 scaler.fit(X_test)），否则会高估模型性能
- 过拟合：模型在训练集上表现极好，但在测试集上差很多，可能是过拟合。增加数据、简化模型、使用正则化
- 类别不平衡：医疗数据中恶性样本通常较少，可使用过采样（SMOTE）、欠采样或调整类别权重
