通过四个 Python 数据分析实战案例，系统讲解数据挖掘四大核心任务。包括电影类型关联规则挖掘（Apriori 算法）、心脏病诊断分类预测（逻辑回归/随机森林）、大学录取率线性回归建模以及 NBA 球员聚类分析（K-Means/DBSCAN）。内容涵盖 pandas 数据处理、scikit-learn 模型构建及 matplotlib 可视化，展示从数据清洗到模型评估的完整流程，适合初学者参考。
数据分析是大数据技术的重要应用领域。本文将基于 4 个典型实战案例，系统讲解 Python 在数据挖掘四大核心任务中的应用：关联规则分析、分类预测、回归建模和聚类分析。案例涵盖电影类型关联挖掘、心脏病诊断预测、大学录取率分析和 NBA 球员聚类等实际场景，完整呈现 pandas 数据处理、scikit-learn 模型构建以及 matplotlib 可视化等关键技术要点。
通过挖掘电影类型间的潜在关联关系，发现强关联规则，为电影推荐和类型组合决策提供数据支持。
import pandas as pd
from collections import defaultdict
# 数据加载与清洗
df = pd.read_csv('movies.csv')
df = df[df['genres'] != '(no genres listed)'] # 过滤无效记录
df['genres_list'] = df['genres'].apply(lambda x: x.split('|')) # 类型转换
total_movies = len(df) # 统计有效电影数量
Top10 强关联规则：
| 前项 | 后项 | 支持度 | 置信度 | 提升度 |
|---|---|---|---|---|
| Animation | Children | 0.0311 | 0.4943 | 7.2265 |
| Children | Fantasy | 0.0215 | 0.3148 | 3.9226 |
| Mystery | Thriller | 0.0365 | 0.6178 | 3.1666 |
基于患者生理指标数据构建分类模型，预测心脏病患病风险，并对比不同算法的性能表现。
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, classification_report
from sklearn.impute import SimpleImputer
# 数据加载与清洗
data = pd.read_csv('Heart_Disease.csv')
data.replace('?', np.nan, inplace=True)
for col in data.columns:
data[col] = pd.to_numeric(data[col], errors='coerce')
# 缺失值填充
imputer = SimpleImputer(strategy='median')
data = pd.DataFrame(imputer.fit_transform(data), columns=data.columns)
data['target'] = data['target'].apply(lambda x: 1 if x > 0 else 0)
实现并对比三种分类算法：
# 逻辑回归
lr = LogisticRegression(max_iter=1000, random_state=42)
lr.fit(X_train_scaled, y_train)
# 决策树
dt = DecisionTreeClassifier(max_depth=5, random_state=42)
dt.fit(X_train, y_train)
# 随机森林
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
| 模型 | 准确率 |
|---|---|
| 逻辑回归 | 0.8462 |
| 决策树 | 0.7143 |
| 随机森林 | 0.8462 |
基于申请者的 GRE、TOEFL 等标准化考试成绩，构建线性回归模型预测录取概率。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, r2_score
# 中文显示配置
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 数据加载与清洗
data = pd.read_csv('Admission_Predict.csv')
data = data.drop('Serial No.', axis=1)
data.columns = data.columns.str.strip()
# 模型预测与评估
model = LinearRegression()
model.fit(X_train_scaled, y_train)
y_test_pred = model.predict(X_test_scaled)
mse = mean_squared_error(y_test, y_test_pred)
r2 = r2_score(y_test, y_test_pred)
print(f"均方误差 (MSE)：{mse:.4f}")
print(f"决定系数 (R²)：{r2:.4f}")
# 结果可视化
plt.figure(figsize=(6, 4))
plt.scatter(y_test, y_test_pred, alpha=0.6)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--')
plt.xlabel('真实录取率')
plt.ylabel('预测录取率')
plt.title('真实值 vs 预测值对比')
plt.grid(alpha=0.3)
plt.show()
申请者档案：
基于球员比赛统计数据，运用聚类算法对 NBA 球员进行分类，挖掘不同类型球员的特征表现。
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score, davies_bouldin_score
# 数据读取与预处理
df = pd.read_csv('NBA_Player_Statistics.csv')
# 处理重复球员
if 'Tm' in df.columns:
df['is_tot'] = df['Tm'] == 'TOT'
df = df.sort_values(['Player', 'is_tot'], ascending=[True, False])
df = df.drop_duplicates('Player', keep='first').drop('is_tot', axis=1)
# 缺失值填充
fill_0_cols = ['FG%', '3P%', 'FT%']
for col in fill_0_cols:
if col in df.columns:
df[col].fillna(0, inplace=True)
numeric_cols = df.select_dtypes(include=np.number).columns
for col in numeric_cols:
df[col].fillna(df[col].mean(), inplace=True)
| 算法 | 轮廓系数 | DB 指数 |
|---|---|---|
| K-Means | 0.2094 | 1.3460 |
| 层次聚类 | 0.1969 | 1.3129 |
| DBSCAN | 0.2000 | 0.8222 |
| 类别 | 上场时间 | 得分 | 命中率 | 三分命中率 | 助攻 | 篮板 | 特点总结 |
|---|---|---|---|---|---|---|---|
| 0 | 24.64 | 11.34 | 0.58 | 0.20 | 1.51 | 7.60 | 内线型球员，篮板突出 |
| 1 | 26.59 | 11.73 | 0.46 | 0.37 | 2.75 | 3.96 | 外线射手，三分能力强 |
| 2 | 6.78 | 1.91 | 0.31 | 0.18 | 0.66 | 1.06 | 边缘球员，出场时间少 |
| 3 | 33.90 | 21.46 | 0.48 | 0.35 | 5.82 | 5.89 | 核心球员，全能表现 |
| 4 | 14.08 | 5.33 | 0.48 | 0.34 | 1.03 | 2.40 | 替补球员，角色明确 |
数据分析的核心价值在于从海量原始数据中提炼出可落地的商业洞察与科学规律。本文通过四个典型案例，系统展示了数据挖掘的四大核心任务：
这些案例彰显了 Python 数据分析生态的强大优势：
从数据获取到模型部署，这套完整分析流程可有效解决商业智能、医疗健康、教育管理、体育分析等领域的实际问题。随着数据规模扩大和技术进步，数据挖掘将在更多场景创造实际价值。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online