首页
学习
活动
专区
工具
TVP
发布

利用python爬取人人数据

人人网站需要用户登录才能看到其相应的借贷人信息。也就是说爬取数据时,需要用户登录。回顾之前的代码,我想是保存cookie这种方法是不能用了。必须找到一种新的方法来模拟登录网站。...查了许多资料,数据捉取无外乎有3种方法: 1.直接抓取数据。 2.模拟浏览器抓取数据。...vb_login_username'] = '你的用户名' br['vb_login_password'] = '你的注册密码' 这段代码中老是遇到问题,第一,select_form中的nr怎么找,第二,人人网站源代码中如何找所谓的...其实我代码测试中还是找到对于的nr=0,但是找了好久找不到对应的'vb_login_username'。(个人不太懂html,学的比较菜,有兴趣的可以尝试一下)。...相应数据图展示: ?

1.7K50

P2P用户数据分析——以拍拍为例

近两年P2P行业风云变幻,雷声不断,不巧前几日我也中招,之前给亲戚介绍的P2P平台出现到期未还款的现象,吃惊之余赶忙给平台客服打电话,被告知借款人逾期,目前正加紧催收。...在当前经济下行压力增大的环境下,P2P行业风险日益暴露,加之备案一拖再拖,P2P平台举步维艰。...本期“品玩SAS”我们就深入研究下P2P平台的用户情况,以期对P2P的参与者有一个清晰的认识。...,是国内首家P2P平台,2017年11月10日,拍拍美国纽约证券交易所上市。...2 数据介绍 本文以拍拍2015年1月1日至2017年1月30日的328553条贷款数据(该时间段10%的真实数据)为研究对象。

3.7K31
您找到你想要的搜索结果了吗?
是的
没有找到

互金协会P2P大数据揭示的趋势

虽然部分平台数据披露不够完整,但是这一百多家平台几乎囊括了行业最优秀的平台,大量数据依然值得分析。...数据来源:中国互金协会、麻袋研究院 3、余额与累计借贷金额不相关 从余额与累计借贷金额所呈现的散点图可知,各平台这二者相关系数仅0.3,并不呈现明显的相关性。...数据来源:中国互金协会、麻袋研究院整理 从历史数据,陆金服可谓一枝独秀,几乎没有受到各种现金政策、政策的影响。...从相对值,陆金所与去年六月相比,累计借贷额增长155.7%,此外,爱钱进增幅也超过100%。增幅最慢的是信普惠,累计增幅仅7.8%,平均每月增长率不到1%。...资料来源:中国互金协会、麻袋研究院 总结 从数据,即使是中国互金协会会员,尾部平台也苦苦挣扎,余额仅1亿左右,盈利之路更是遥遥无期,但是合规平台、头部平台业务却在快速增长。

66420

使用 R 语言从拉勾数据挖掘岗位现状

首先可以看到大部分数据挖掘岗位都分布北京,上海,深圳和杭州,北京该岗位需求相当旺盛,差不多占据了一半的职位数量。从左边的饼图可以看出,大部分数据挖掘岗位对应聘者的学历要求为至少是本科以上。 ?...左边的条形图显示大部分的数据挖掘岗位都分布移动互联网领域,另外,右边的饼图可以看出,上市公司和成长型 B 轮及 D 轮以上的公司对数据挖掘岗位的需求最大。 ?...从左边这张图可以看出,对于有 1-3 年经验的应聘者,企业的普遍工资 16-20 K 左右的水平,而对于 3-5 年工作经验的应聘者,则普遍的工资 21-25 K,另外有意思的是,许多职位对工作经验没有要求...从右边的图可以看出,移动互联网领域职位数量多且工资相对较高,若想找份高薪的工作,移动互联网行业做数据挖掘是个不错的选择。...JobRequirementAnalysis 使用到的 R 包:ggplot2, jiebaR, wordcloud2 项目结构: ├── data │├── position-\ 1:63 拉勾的原始数据

87770

使用 R 语言从拉勾数据挖掘岗位现状

首先可以看到大部分数据挖掘岗位都分布北京,上海,深圳和杭州,北京该岗位需求相当旺盛,差不多占据了一半的职位数量。从左边的饼图可以看出,大部分数据挖掘岗位对应聘者的学历要求为至少是本科以上。 ?...左边的条形图显示大部分的数据挖掘岗位都分布移动互联网领域,另外,右边的饼图可以看出,上市公司和成长型 B 轮及 D 轮以上的公司对数据挖掘岗位的需求最大。 ?...从左边这张图可以看出,对于有 1-3 年经验的应聘者,企业的普遍工资 16-20 K 左右的水平,而对于 3-5 年工作经验的应聘者,则普遍的工资 21-25 K,另外有意思的是,许多职位对工作经验没有要求...从右边的图可以看出,移动互联网领域职位数量多且工资相对较高,若想找份高薪的工作,移动互联网行业做数据挖掘是个不错的选择。...项目结构 使用到的 R 包:ggplot2, jiebaR, wordcloud2 项目结构: ├── data │ ├── position-\ 1:63 拉勾的原始数据,为 json 格式

91750

从拉勾数据深圳数据分析师的职业前景

本文基于拉勾上2016年12月到2017年1月深圳地区数据分析师招聘数据,为这一行业的朋友作为参考;虽然数据略为过时,但变化也不大,规律依然适用。 区域分析 ? 各区职位数 ? 空间分布 ?...数据分析师的技术要求 公司排名 高薪岗位top20 ? 高薪岗位排名 综合人气top20 ? 综合人气排名 结论 现今的市场认知中,数据分析师主要还是开发类职业。...至于技术方面,Hadoop和Spark这类大数据基础框架是市场最为重视的,因此Java是最为需要的语言(这主要还是因为大部分的公司不知道数据工程师和数据分析师的区别,或者大部分的公司仍处于基础建设阶段,...离数据挖掘、分析和应用还有不少距离)。...数据表明大公司的需求和薪资都显著性强于小公司。移动互联网收尾,人工智能兴起的大数据时代,没有数据、没有资金、没有技术的小公司实在难有作为。

91270

信贷科技发起百亿元并购基金,银谷推出大数据风控产品“随心时 | 大数据周周

作者 | abby 热 点 阿里巴巴专注数据人才培养,黔建“大数据学院” 为了培养更多大数据专业人才,阿里巴巴集团近日与贵州理工学院合作,共同在黔创立了“大数据学院”,据悉,该学院将在明年7月开始招生...大数据服务商浪潮集团与福州市政府合作,共同创立浪潮福州大数据交易所 日前,大数据服务商浪潮集团宣布与福州市政府达成战略合作关系,届时双方将利用浪潮集团云计算、大数据领域的技术优势及数据资源,共同创立福州云计算中心和浪潮...此外,该中心还将致力于开源社区提供大数据开源软件,并孵化一批有影响力的软件项目。...山西省宣布成立大数据产业协会 近日举行的“晋善晋美·数造未来”大数据论坛上,山西省大数据产业协会宣布正式成立,并落户太原。...产 品 普惠金融公司银谷推出大数据风控产品“随心时” 本周,互联网金融信息咨询服务公司银谷对外公开发布最新风控大数据产品“随心时”。

868100

计算语义相似度中,我网上说要加range,我不知道往哪里加?

一、前言 前几天Python白银交流群【王王雪饼】问了一个Python处理语义相似度的问题,这里拿出来给大家分享下。...二、实现过程 这里【eric】了解到她的原始数据和停用词啥的都在自己的,代码套用的作者的,估计还是会遇到些问题的,如下图所示: 后来【甯同学】给了一个解决办法,如下图所示: 加上之后,顺利地解决了粉丝的问题...【提问补充】温馨提示,大家群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。

11220

平安、宜信、飞,谁将称霸移动互联网贷款市场?

夹缝中求生存,痛点里找机会 从目前,我国的借贷仍不成熟,尤其是中小企业的借贷困难重重。...后又衍生出陆金所P2P平台,提供业务,陆金所坏账事件后,又更名为如今的平安普惠。...(也有说法:陆金所控股鲸吞平安普惠)如此折腾,被动调整多于主动变革,也说明平安的产品仍存有较大不确定性,尤其是之前爆出的一些问题,比如一洛阳市用户用平安易贷款六万元后,才被告知不能提前还款,一个半月的时间...诸如此类的事件远不止这一起,尽管平安积极拥抱互联网,但平安仍然没有解决现有金融的还款难、不灵活等问题,未来只有加速适应网络贷款的玩法,平安才可能将自身的金融优势发挥出来,否则只会是竹篮子打水一场空。...尽管丰富多样的“社交数据”或“电商数据”等场景数据可以去融合“金融数据”,但这样的模型和评分体系是否有效还需不断调整验证。从国际征信业务发展,个人以往借贷留下的信用数据才是最有效评价信用风险的数据

87440

前方高能“梗”很多,那些大数据的猪

好,下面给你所有的数据,这回所有的棋子都没有遮掩,双方的信息都是公开的。那么,这些数据展现了什么规律?下一步黑棋应该怎么走? ? (这是最高等级的决赛,请读者慎重考虑。...这位棋手的大脑将近 3 小时的时间里收集了什么?计算了什么?) 4. 大数据和第一感 一叶落而知天下秋。 这是大数据么?...不然继续收集数据,等到有了我们再讨论。 等到有充分数据的时候,就是竞争对手已经占领市场,大势已定,各路专家都写文章分析它的成功经验的时候。 这时,你拿了数据给领导。...没有数据的地方 跟着数据跑,有这么大的错误么? 不至于吧?! 数据哪里,公司的生意就在那里,这有错么? 这当然是有价值的,我第 0 条就说了大数据的 250万字的好处。...你小朋友们踢足球, 球在哪里,他们就聚集在哪里。 这至少给大家一种参与感。 那么职业的选手怎么踢球呢? 我们看看 98 年世界杯 荷兰 vs.

78460

眼球轨迹大数据告诉你,帅哥美女时,男女的关注点分别在哪里

当我们漫不经心浏览网站时,如果蹦出一张美女图,您的眼睛会盯向哪里?近日国外有一间调查公司借助眼球追踪技术,分析了消费者的网站浏览重点。...(眼球轨迹分布图中,颜色越接近红色,表示眼睛停留的时间越久。) 比基尼美女时 ? 左半边是男生的视线焦点,右半边是女生的视线。...运动员时 ? 这是一则分析男女棒球选手照片的眼球轨迹。男女都会看运动员脸上的表情,但是有一部分的男性,还会在意运动员选手的“尺寸”。 当泳装男女并列一张图片时 ▼女生的焦点 ?...你怎麽Google查询结果? ? 这是一张典型的Google查询结果,研究显示我们只会将注意力集中查询出来的前面五项,后面的重要性依次递减。而右上方第一、二则的广告的确是有吸引到部分的注意。...小编按: 当大数据的热潮开始席卷整个地球的时候,眼球轨迹分析开拓了我们的思维,将大数据的思想延伸到了更远的地方。不久的将来,人类甚至个人所有的行为习惯都将逃不过计算机的眼睛。

1.8K60

Puma 1GB被盗数据公开拍卖

8月29日,Security affairs披露,Marketo (售卖 ”被盗数据“ 的经营商)声称从PUMA公司窃取了大约 1GB 的数据,这些数据将会在平台上进行公开拍卖。...攻击者可以使用这些数据来策划对公司的更复杂的攻击。...Marketo作为一个有组织的“被盗数据市场”的运营商,不同于典型的勒索软件集团,他们是通过阻止受害者的网络,加密各种数据存储上的可用文件来分发恶意代码,破坏 IT 运营。...除此之外,Marketo具有对被盗数据“出价”的独特能力,这种行为会引起对数据获取感兴趣的各方(包括最终受害者),为了获取最后的数据而相互竞价。...截至8月29日,已有 157 个网络攻击者出价购买敏感数据

19610

数据24小时 | 医疗保险公司Clover Health获1.6亿美元融资,平台蓝金所将建企业大数据金库

主要利用“医疗+大数据”模式对患者可能存在的健康隐患进行分析、判断。 此外,该公司还将保险与大数据结合起来,旨在通过数据库检索出潜在高危病患,为其提供预防方案,从而降低患者就医费用。...据悉,目前vArmour全球范围内拥有百余家客户,涵括了包括金融、政府、零售以及电信运营商在内的多个行业。...BigID宣布完成210万美元融资,为企业打造数据隐私管理平台 随着“大数据”的不断发展,数据隐私问题越来越得到企业的重视,即使目前监管机构对对其监管力度已经逐渐增强,然而个人数据仍面临更大风险。...平台蓝金所将建实体企业大数据金库,为企业提供资源对接服务 近日,专注于供应链金融的互联网金融服务公司蓝金所宣布将建立实体企业大数据金库,该大数据金库将集资本、资源以及服务为一体,旨在为企业提供资源对接服务...根据双方签订的协议显示,届时将借助九次方大数据数据采集、清洗以及数据建模、可视化等方面的技术优势,进一步构建“互联网+大数据”生态圈,从而提升公司数据领域的应用水平,完善产业布局。

68040

揭秘:你的个人数据卖多少钱?

犯罪分子会利用特殊的软件(比如 Tor 浏览器)进入暗,这既可以保护自己的隐私,也不会留下“足迹”。 中,有一种交易最为大家熟悉,那就是买卖个人数据。...最近几年,各大企业频繁发生数据泄露事件,这些遭泄露的数据包括企业员工信息、企业客户 / 用户信息。一旦攻击者得手,接下来可能将数据挂在暗交易。...事实上,我们看到多起企业数据泄露事件,均是由安全研究者或技术人员发现,然后由媒体曝光。 ,关于个人数据的商品明码标价。比如: 附有信用卡的沃尔玛账户卖多少钱?...,PayPal 账户详细信息是最常见的出售商品之一,并且非常便宜。如上表所示,如果是从被入侵的账户进行转账,那售价会更高。...一旦数据出现在暗,那会给人们带来许多麻烦,身份诈骗会常伴左右。 为保护自己免受身份诈骗?

1K10

逾期赖账两把刀“撸口子”,现金行业会不会坏账过多而亏死?

“撸口子”就是用来形容这些人的,因为目前现金的整顿,不允许暴利催收,所以借款人还款意愿明显下降。逾期+赖账,属于现金业务的未来究竟在哪里? “我凭本事借的钱,凭什么要还?”...放贷资质、助模式、利率定价、杠杆率、收费模式(砍头息)、催收、借贷群体(无收入来源群体)等多个方面,主流的现金业务模式都面临违规和被取缔的风险。...“撸口子”的人大有一种“视死如归”的豪情壮志:人死债清,再敢逼我,我就死给你。 小编前几个月还在网上看到一篇文章,《撸口子狂魔自述:55家撸18万,全村500人都逾期》,想想都可怕。...《监管并非“一刀切”,趣店等中概股集体止跌,看你敢不敢低位承接?》 信用体系建设 现金火爆的现象本质上是征信系统的覆盖面不足导致的。...另一方面可以通过大数据的力量相对准确地评估个人信用。 如果腾讯或阿里的征信牌照能够申请下来,同时能够纳入全国的信用征用体系,相信不仅仅是现金,其它很多类似问题都可以得到有效解决。

1.2K00

联合国遭黑客入侵,大量数据打包出售

今年4月,联合国曾遭遇网络攻击,攻击者盗取了大量数据,这些数据可能被用来攻击联合国。 黑客们进入联合国网络的方法不复杂,他们很可能是利用暗网上购买的被盗的联合国雇员的用户名和密码进入。...黑客入侵目的是窃取联合国网络中的大量用户数据,以进一步收集长期情报。 联合国及其机构曾经成为黑客的目标。...联合国内网帐号打包出售,仅售1000美元 此次的泄露凭证属于联合国专有项目管理软件Umoja上的某个账户。黑客使用的Umoja账户并未启用双因素身份验证,这是一项基础安全功能。...他曾看到暗出售联合国雇员的帐号和密码。网络犯罪分子正在寻求将被盗数据高效变现的方法,初始访问者频繁出售自己掌握的入侵资源,可预见的未来,攻击活动将呈现愈发明确的针对性与渗透趋势。...彭博社查询了暗论坛上的广告,至少有三个论坛的用户,直到7月5日还在出售这些相关凭证。

49840

【编译】数据时代,渣打银行如何革自己的命?

数据猿导读 随着数据科学和开源数据技术时代的到来,传统银行逐渐形成了两大类:一类是积极拥抱数据革命,另一类则保持原来的状态。...编译 | 郭敏 这是一个信息爆炸的年代,移动、实时社交和物联网产生了海量的数据,如何使这些数据发挥最大的价值是企业升级转型过程中必须要考虑的。...大数据是非常强大的。自2008金融危机以来,渣打银行也探索解决问题的方法来满足中央银行的要求。...统一的模型中理解数据是至关重要的,如果没有这一点,我们最终得到的只是单一的数据而不是相互关联的信息。...渣打银行正在研究类似于FIBO(金融业务本体论)等开放标准,旨在帮助银行自身对模型中的数据进行更深层次的理解;同时,渣打银行也机器学习和人工智能方面加大了使用力度,缩短了不同来源数据模型的融合周期。

61460

勒索失败后,黑客售卖85000个MySQL数据

黑客一直窃取MySQL数据库,下载表格,删除原始文档,并留下赎金记录,告诉服务器所有者与其联系以取回他们的数据。...最开始,赎金记录是要求受害者通过电子邮件与攻击者联系,但随着操作量的增加,攻击者还借助一个门户网站把数据库赎金流程自动化,该门户网站托管 sqldb.to和 dbrestore.to上,并然后使用暗洋葱网络...受害者访问站点,输入攻击者赎金记录里留下的ID号码,就会看到显示出售其数据的页面。 如果受害者九天内没有付款,他们的数据就会被放在该站点的另一页面进行拍卖。...其中,恢复或购买被盗数据库的交易必须以比特币支付。随着BTC / USD汇率的波动,全年的实际价格有所不同,但一般情况下,每个站点的价格通常始终保持500美元左右。...2020年,勒索攻击事件不断堆积,也可以看到受害者们Reddit、MySQL论坛、技术支持论坛、Medium帖子和私人博客上放出数据中的赎金记录。

92710
领券