1. 积分极值：最高与最低

最高积分 330 分，最低积分 36 分，积分跨度很大

print('最高积分：', data['家庭总积分'].max())  #最高积分： 330print('最低积分：', data['家庭总积分'].min())  #最低积分： 36

2. 家庭代际数分布：几代人一起申请？

2代及以上家庭占比高达77%，1代家庭仅占23%（27906个指标），多代家庭在积分上具有明显优势

data_inter_num_plot=data['家庭代数'].value_counts().reset_index()fig,axes=plt.subplots(1,2,figsize=(20,7),facecolor='white')fontsize=15x=data_inter_num_plot['家庭代际数']y=data_inter_num_plot['count']axes_plot(axes[0],axes[1],x,y,axs1_twinx=True)fig.suptitle('家庭代际数分布',fontsize=20,fontweight ="bold",y=0.98)

plt.subplots_adjust(hspace=0.35,wspace=0.3)plt.show()

同时用自定义函数输出精确统计表：

data_inter_num_stat=pivot_percent(data,'家庭代际数','主申请人申请编码',agg='count')data_inter_num_stat

3. 主申请人注册年份分布：排队多久了？

2015年及之前年份占比接近 7成，早注册早积累积分，这是获得指标的关键

defregister_year(dt):return dt[:4]data['成员最早注册时间-年份']=data['成员最早注册时间'].map(register_year)pivot_percent(data,'成员最早注册时间-年份','主申请人申请编码',agg='count')

4. 交叉分析：代际数 × 注册年份

2012年和2013年注册的“2代家庭”各自获得了超过1万个指标，是绝对的主力群体

inter_num_reg_year=pd.pivot_table(data,                values='主申请人申请编码',                index='家庭代际数',                columns='成员最早注册时间-年份',                aggfunc='count',               fill_value=0              )plt.figure(figsize=(12, 3.5))  # 调整图片宽度和高度ax = sns.heatmap(    inter_num_reg_year,    annot=True,              # 在每个格子中显示数值    fmt='d',                 # 数值格式：整数    cmap='Reds',           # 颜色映射（黄-橙-红）    linewidths=0.5,          # 格子之间的分隔线宽度    cbar=False,# cbar_kws={'shrink': 0.8} # 颜色条大小)ax.xaxis.tick_top()          # 将 x 轴的刻度线移动到顶部ax.tick_params(length=0)plt.title('家庭代际数 与 注册年份 热力图', fontsize=16,pad=40)plt.xlabel('')plt.ylabel('')# plt.xticks(rotation=45)     # 如果年份过多，旋转标签避免重叠plt.tight_layout()plt.show()

5. 主申请人籍贯分布：来自哪里？

北京本地籍贯占比56%，其余主要来自周边的山河四省，以及东北省份等，地缘特征十分明显

defmap_province(x):    province_code = x[:2]    province = {'11': '北京市', '12': '天津市', '13': '河北省', '14': '山西省', '15': '内蒙古自治区', '21': '辽宁省', '22': '吉林省', '23': '黑龙江省','31': '上海市', '32': '江苏省', '33': '浙江省', '34': '安徽省', '35': '福建省', '36': '江西省', '37': '山东省', '41': '河南省', '42': '湖北省', '43': '湖南省', '44': '广东省', '45': '广西壮族自治区','46': '海南省', '50': '重庆市', '51': '四川省', '52': '贵州省', '53': '云南省', '54': '西藏自治区', '61': '陕西省', '62': '甘肃省', '63': '青海省', '64': '宁夏回族自治区', '65': '新疆维吾尔自治区'    }return province.get(province_code, '其他')data['主申请人籍贯省份'] = data['主申请人证件号码'].map(map_province)pivot_percent(data, '主申请人籍贯省份', '主申请人申请编码', agg='count').head(10)

如果把范围缩小到“新北京人”（非京籍、且家庭代际数≥2），前10名如下：

# 新北京人：主申请人籍贯省份-非北京， 家庭代际数>=2data_filter = data[(data['家庭代际数'].isin(['2代', '3代'])) & (data['主申请人籍贯省份'] != '北京市')]pivot_percent(data_filter,'主申请人籍贯省份','主申请人申请编码',agg='count').head(10)

6. 家庭总积分分段分布：大多数人在哪个区间？

积分高度集中在36-44分段，占据了超过一半的指标，只要积分达到“入围线”附近，就有很大概率获得指标，高分家庭反而是少数

# 分段边界bins = [36, 40, 45, 50, 55, 60, 65, 70, 80, 90, 100, 340]labels = [f'{bins[i]}-{bins[i+1]-1}'for i in range(len(bins)-1)]# ---------- 1. 分段 ----------data['总积分段'] = pd.cut(data['家庭总积分'],                       bins=bins,                       labels=labels,                       right=False                     )# ---------- 2. 画等宽柱状图 ----------plt.figure(figsize=(12, 6))ax = sns.countplot(data=data,                    x='总积分段',                   color='steelblue',                    order=labels                  )# ---------- 3. 在柱子上标注频数和占比 ----------total = len(data)  # 总样本数for p in ax.patches:    height = p.get_height()          # 频数if height == 0:continue# 跳过空桶    percent = height / total * 100# 占比（%）# 在柱子上方 5 像素处标注（两行：频数 + 占比）    ax.text(p.get_x() + p.get_width()/2.,             height + 5,f'{int(height)}\n( {percent:.1f}% )',            ha='center',             va='bottom',             fontsize=9)# ---------- 4. 美化 ----------# plt.xticks(rotation=45)plt.title('家庭总积分分段及占比', fontsize=16, pad=20)plt.ylabel('')plt.xlabel('')ax.tick_params(length=0)plt.tight_layout()plt.ylim(0,45000)plt.show()

工具小结

回顾整个分析流程，我们用到的关键技术点：

• pdfplumber
  批量提取PDF中的表格，应对非结构化数据
• pandas
  透视表、数据分组、自定义映射、分段切割，几乎覆盖所有数据整理需求
• 自定义函数pivot_percent和axes_plot
  将重复逻辑封装起来，让分析代码更干净，也体现了Python在数据处理中的灵活性
• matplotlib +seaborn
  通过柱状图、饼图、热力图、双轴图直观展示分布和交叉关系，并处理了中文显示问题

本篇文章不追求深刻的业务结论，而是希望呈现一个真实的Python数据分析流程：从PDF挖数据，到清洗、聚合、可视化，再到自定义工具函数的沉淀

完整环境配置

基于 jupyter notebook 环境

import sysprint('python 版本：', sys.version.split('|')[0]) #python 版本： 3.11.14 import pdfplumberimport pandas as pdimport numpy as npimport seaborn as snsimport matplotlibprint('pdfplumber 版本：', pdfplumber.__version__)  #pdfplumber 版本： 0.11.9print('numpy 版本：', np.__version__) #numpy 版本： 2.4.2print('pandas 版本：', pd.__version__) #pandas 版本： 3.0.0print('seaborn 版本：', sns.__version__) #seaborn 版本： 0.13.2print('matplotlib 版本：', matplotlib.__version__) #matplotlib 版本： 3.10.8import matplotlib.pyplot as pltimport matplotlib.ticker as mticker#画图中文乱码、负号plt.rcParams['font.sans-serif']=['Microsoft YaHei']plt.rcParams['axes.unicode_minus']=False

历史相关文章

• Matplotlib 自定义函数实现左边柱形图，右边饼图
• 对比Excel，利用pandas进行数据分析各种用法
• 像excel透视表一样使用pandas透视函数

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货

整理的一个资源共享库：

https://github.com/DataShare-duo/datashare_data