Python个人收入影响因素模型构建:回归、决策树、梯度提升、岭回归|数据分享

全文链接：https://tecdat.cn/?p=37423

分析师：Greata Xie

然而，当我们跨越国界，来到高度发达的英国，却发现类似的问题依旧存在。一项发表在《城市经济学》上的研究，通过对英国7500名居民长达近二十年的追踪调查，揭示了原生城市规模对个人成年后收入的深远影响。研究发现，与曼彻斯特和利物浦相比，伦敦出生的居民平均收入更高，这一发现无疑加剧了小城市居民的心理压力。

但幸运的是，研究并未止步于此。为了进一步量化各变量对收入的影响，研究者们应用了复杂的计量方法。他们发现，“学习”（即工作后获得的知识和经验积累）在原生城市规模对收入的影响中占据了高达65.2%的比重，而教育和当前工作城市规模则分别占据了10.9%和8.6%的比重。

在数据时代，我们更应该重视数据的作用，通过构建精确高效的模型来预测和解释个人收入的差异。

为此，我们通过分析多种影响收入的数据，构建影响个人收入的模型，采用了多种建模方式，包括线性回归、决策树、梯度提升、岭回归等，并通过测试数据回测选出了表现最好的模型。

任务/目标

通过分析多种影响收入的数据（查看文末了解数据免费获取方式），构建影响个人收入的模型，实现对个人收入预测，并根据模型结果为教育部等相关部门提出建议。

数据源准备

有相关数据的详细披露，需要将目标数据爬取或直接下载。

数据清洗

但经过python相关函数的检测，我们发现很多空数据，由于模型和数据涉及的影响变量较多，所以出现空数据的个体无法参与到所有因素的建模中。

但若去掉携带空数据的个体后数据分布发生变化，则使用去掉空数据后建立的模型就无法准确预测整体样本，面对这个问题，我们对比了完整样本和去掉空数据后样本的柱状图，证明了去掉空数据并不会影响样本的整体分布。

构造

样本中一共收集了935个人的16项不同的相关数据。

去掉空数据后新样本一共收集了663个人的16项不同的相关数据。

划分训练集和测试集

由于相关部门的数据披露并没有时间顺序，所以为了建立真实和无偏差的测试模型，我们以8:2的分数形式对数据样本切分训练集和测试集。具体做法如下：

我们一共有663份相关数据，随机抓取530份数据作为training data（即训练数据），剩下的133份数据作为testing data（即测试数据）。

探索性分析

利用成对分析和热力图，对大量的变量和数据之间的关系进行观察和预测。