上市公司财务数据的抓取和清洗一般会用python和php工具,纯数据流处理专业点的话都会使用python。虽然PHP也配合使用cURL、Guzzle或QueryList来完成基础的抓取清洗任务,甚至直接展示在网站。但在数据抓取和数据清洗这个专门领域,Python对PHP来说毫无疑问是降维打击 。数据抓取时Python应对js动态渲染、伪造浏览器指纹、自动管理代理IP池、绕 过Cloudflare 验证、多线程异步支持及专业数据分析库上,PHP都没法相比。用PHP去爬取和清洗数据,不但代码繁琐,内存占用高,还经常容易封赌。
后台处理方面,PHP主要优势可能就是网页制作了。如果你的任务非常简单又直接应用于网站,可以选用PHP。如果要写专业虫子、解析复杂网页、处理及清洗大面积数据,要果断选择Python。
Python和Php在本地电脑安装好解释器,定义好变量环境后都可以直接运行和使用。
Python官方为Windows系统制作了专门的.exe和.msi文件,双击安装,勾选环境变化,接着下一步就完成安装了。
Php最初主要应用是做网页,给服务器端使用,真正的生产环境对安全性的要求很高。Php的运行一般都要结合Nginx、Apache、MYSQL全家桶来使用,各种扩展和设置也挺繁琐,容易配置出错,大部分情况下,用户都习惯于借助phpstudy和宝塔面板这种第三方调试好的集成环境来使用。
Php虽然没有为Windows系统提供Python那样的自动安装包,但还是提供了相关的ZIP压缩包,把配置过程完全交给了用户。
python的运行环境的本地搭建这里就省去了,下载exe文件勾选环境变化就自动完成安装了,PHP本地安装则要稍微麻烦一点。
PHP本地裸装时要匹配Visual C++库,先要下载php的zip包,地址:
https://downloads.php.net/
PHP架构中的服务器就是本地电脑,有 64位(x64)和 32位(x86)的区别,对应自己电脑配置选择就可以了。
PHP运行模式也有两种,线程安全版(Thread Safe 或 TS)搭配 Apache 服务器,非线程安全版(Non Thread Safe 或 NTS)搭配 Nginx 服务器。
PHP编译器版本也有两种,VS16 (Visual Studio 2019)和VS17 (Visual Studio 2022,PHP8以上都要装VS17库。
这样,就可以选择性下载PHP的ZIP文件了,例如
| php-7.4.29-nts-Win32-vc15-x64.zip |
就是Windows64位+Visual Studio 2019+php-7.4+NGINX配置,devel-pack是开发包,下载带nts(TS)且不带devel-pack或debug-pack才是标准压缩包。
php运行环境的本地搭建:
将php zip解压到c盘并重命名文件夹如php,然后在系统环境/环境变量中手工增加php变量。
选择path变量,再选择php路径,将php变量增加上去就可以了。示例中已经安装了python解释器,所以path已经有一个python变量了,接着往下编辑php路经类变量,再增加路径变量就可以了。
处理好环境变理后,在widows命令环境下输入php命令:php -v ,提示php版本信息如下,说明解释器和变量环境都处理好了。
然后,我们可以新建一个php文件(test.php)来测试执行结果,注意要指定php文件路经。
<?php echo "PHP运行基础环境搭建完成,适配Nginx";?>
观察一下,显示php正常执行了。
到此,python和php运行环境的本地搭建就完成了。
接下来,我们可以开始应用python和php程序或者现成的库工具来执行上市公司财务数据的抓取和清洗了。