首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python+selenium爬虫从零整理六

想要把上一篇抓取到的阅读数['746472', '966083', '800000', '972701', '1011227', '1000000', '940221']从字符串列表形式转换成可以用于计算的数值形式,笔者经过一番查找,Python map() 函数是可行的方法,list(map(str,[1,2,3]))可以将数值列表转换成字符串列表,同理list(map(int,['1','2','3']))可以将字符串列表转换成数值列表。

而Numpy是Python的一个科学计算的库,因提供矩阵运算的功能而知名,与Scipy、matplotlib一起使用堪比matlab,这里仅尝试用其来对前面的数值列表做一个统计。完整源码:

解释:第45行之前的代码都有过讲解,第46行即将字符串列表转换成可以用于计算的数值列表。由于map(函数在Python 3.x中不是以列表形式返回数值,保险起见前面用list(函数是将其它形式转换成列表(

参考map()函数的用法)。第48行导入numpy并创建一个array(参考numpy的常用操作),sum = narry.sum()即可求数值之和,mean = narry.mean()为求平均值。接下来如果要将mean的值打印出来的话,还需要先str (mean)转换成字符串形式。编译后输出的csv表格如下:

首先按win+R键,运行cmd,打开命令提示符界面,输入pip install pyinstaller安装pyinstaller模块;

进入到前面代码文件test.py所保存在的文件夹(cmd下切换文件夹的命令:进入D盘D:,进入某个文件夹cd 文件夹名,按Tab可以当前目录下切换文件夹名称);

找一个喜欢的图作为.exe程序的图标,百度搜转换ico的网站,将该图片转换成ico后缀的图标文件并放到代码文件test.py所在文件夹,不能直接改后缀,否则后面会报错。

继续在cmd里输入指令:pyinstaller -F -i "你的图标名称.ico" "你的代码文件名称.py"Enter就开始打包了,打包完成会出现 completed successfully之类的提示。

完成后打开代码文件test.py所在文件夹,会发现多生成了下面三个文件夹和一个spec文件,将这几个文件和需要读取的 微信号.txt 复制到单独的文件夹,再将dist文件夹里的主程序拖出来,放到跟微信号.txt 同一目录里,就可以运行该exe开始爬虫了。

最后将chromedriver.exe也放到文件夹目录里,让你的同事安装合适版本的Chrome浏览器,就可以把这个文件夹拷贝给他们运行爬虫了。

脚本在非Python环境上的的运行如下,运行后会生成之前一样的 抓取结果.csv表格,至此整个项目就完工了。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180909G0LHH500?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券