首先，问一个很简单的问题考考你——在上海，摩拜单车出行的高峰时段是什么？这个问题相对比较容易回答，根据普通人上下班的时段应该是早上七八点左右，下午六七点左右。恭喜，你答对了。
2015年共享经济像雨后春笋般崛起，风口之下，市场上涌现出共享单车、共享充电宝、共享雨伞、共享健身房、共享玩具、共享服装等一系列共享经济产物。但是经过此后几年行业洗牌重塑，共享单车保留了下来。
从12月份起，“共享单车”作为新生事物开始大量进入人们的视野，并且越来越多的上班族愿意接受、尝试。 本文将教与大家利用python爬虫抓取新闻页面，从媒体反映角度去了解，“共享单车”为何有井喷式发展，
去年11月份可以在微信中抓取摩拜的小程序，但是现在不行了。当时微信小程序的API很简陋，利用代理可以直接抓取。但是现在试下挂上代理小程序都打不开了。
之前摩拜单车服务器对请求频率作出限制，必须使用代理服务器，躲避IP限制。不过似乎近期服务器在切换为OpenResty后不再限制请求频率。我搜集了几w个开放代理，存放在proxies.txt中，开放代理并不能保证一直有效，需要使用check_proxy.py筛选出可用的代理。服务器已经全面切换为HTTPS，能支持HTTPS的代理不多。
前段时间老罗和王校长都成为自己的创业公司成了失信人，小五打算上 IT 桔子看看他们的公司。
前段时间老罗和王校长都成为自己的创业公司成了失信人，小五打算上IT桔子看看他们的公司。
春节回家，看到朋友晒的年终奖，我羡慕不已。 他入职腾讯一年半，拿了3个月工资作为年终奖。据他所说，这还不算什么，网易《哈利波特·魔法觉醒》项目组，所有员工奖励888888元…… 虽然说并不是每个大厂员工都可拿到百万年终奖，但平均下来也有3-6个月的奖金（真香）。 相信很大一部分人想要趁着金三银四跳槽去大厂，那么数据分析、产品、运营人想进大厂，应该做哪些准备呢？ 为此，我特意研究了各大招聘网站将近百份招聘需求，发现几乎所有的中、高阶产品、运营和市场岗位，都对数据分析能力非常重视。 由此可见，数据分析能力已经
本文共2163字，阅读全文约需8分钟。 本文用数据分析了魔都中的单车。 单车公司的各路消息变成贫瘠的融资圈最绚丽的新闻，不时刷着我的朋友圈，公司门口出了2个共享单车停放点，上班的路一夜间也被共享单车染成了红黄色。 变化来的太突然，后知后觉的我注册了几个单车app，才想到这是个很有意义的东西，比如你可以任意地跨城旅行，今天在上海张江上班，明天在西安古城骑车，当然，旅行锦上添花，占正常人10%的生活时间就到头了。这些车子更多是解决从地铁到办公室的15分钟路程，如果每天节约15分钟 * 2的时间，仔细算算一年
授权转载自兽脑的世界 微信公众号ID：zny918 作者 | 周宁奕 单车公司的各路消息变成贫瘠的融资圈最绚丽的新闻，不时刷着我的朋友圈，公司门口出了2个共享单车停放点，上班的路一夜间也被共享单车染成了红黄色。 变化来的太突然，后知后觉的我注册了几个单车app，才想到这是个很有意义的东西，比如你可以任意地跨城旅行，今天在上海张江上班，明天在西安古城骑车，当然，旅行锦上添花，占正常人10%的生活时间就到头了。这些车子更多是解决从地铁到办公室的15分钟路程，如果每天节约15分钟 * 2的时间，仔细算算一年能够拯
变化来的太突然，后知后觉的我注册了几个单车app，才想到这是个很有意义的东西，比如你可以任意地跨城旅行，今天在上海张江上班，明天在西安古城骑车，当然，旅行锦上添花，占正常人10%的生活时间就到头了。这些车子更多是解决从地铁到办公室的15分钟路程，如果每天节约15分钟 * 2的时间，仔细算算一年能够拯救1个星期的无聊时间呢。
春节回家，看到朋友晒的年终奖，我羡慕不已。 他入职腾讯一年半，拿了 3 个月工资作为年终奖。据他所说，这还不算什么，网易《哈利波特·魔法觉醒》项目组，所有员工奖励 888888 元…… 虽然说并不是每个大厂员工都可拿到百万年终奖，但平均下来也有 3-6 个月的奖金（真香）。 相信很大一部分人想要趁着金三银四跳槽去大厂，那么数据分析、产品、运营人想进大厂，应该做哪些准备呢？ 为此，我特意研究了各大招聘网站将近百份招聘需求，发现几乎所有的中、高阶产品、运营和市场岗位，都对数据分析能力非常重视。 由此可见，数据
导语： 互联网最激烈的对抗战场，除了安全专家与黑客之间，大概就是爬虫与反爬虫领域了。据统计，爬虫流量早已超过了人类真实访问请求流量。互联网充斥着形形色色的爬虫，云上、传统行业都有不同规模的用户被爬虫爱好者盯上，这些爬虫从哪里来？爬取了谁的数据？数据将被用于何处？ 近日，腾讯云发布2018上半年安全专题系列研究报告，该系列报告围绕云上用户最常遭遇的安全威胁展开，用数据统计揭露攻击现状，通过溯源还原攻击者手法，让企业用户与其他用户在应对攻击时有迹可循，并为其提供可靠的安全指南。本篇报告中，云鼎实验室通过部署的
导语：互联网最激烈的对抗战场，除了安全专家与黑客之间，大概就是爬虫与反爬虫领域了。据统计，爬虫流量早已超过了人类真实访问请求流量。互联网充斥着形形色色的爬虫，云上、传统行业都有不同规模的用户被爬虫爱好者盯上，这些爬虫从哪里来？爬取了谁的数据？又将数据用于何处？
导语：互联网最激烈的对抗战场，除了安全专家与黑客之间，大概就是爬虫与反爬虫领域了。据统计，爬虫流量早已超过了人类真实访问请求流量。互联网充斥着形形色色的爬虫，云上、传统行业都有不同规模的用户被爬虫爱好者盯上，这些爬虫从哪里来？爬取了谁的数据？数据将被用于何处？
在上一篇文章《摩拜单车非官方大数据分析》中提到了我在春节期间对摩拜单车的数据分析，在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。
01爬虫凶猛 “同业爬虫？！” 第一次听到这个词，王浩一脸懵逼。 两个月前，王浩的公司转型现金贷，他在市面上四处寻找风控系统和数据源，此时，摩羯科技的商务人员，给他推荐了这个最新的“爬虫产品”。 “对方说，这是一款特别讨巧的产品，用了之后，你基本可以不用其他风控”，当王浩明白其背后的逻辑后，“不得不服”。 如何检验借款人是一个好用户？ 最简单的办法，就是看这个用户在其他现金贷平台上的授信额度，“别人放款多少，我就放款多少”。 王浩称，这就相当于别的现金贷平台，帮你做了风控。 同业爬虫是一款专门爬取现金贷数据
專 欄 ❈我是思聪，Python中文社区专栏作者 博客： http://www.jianshu.com/u/b1e713e56ea6❈ 为什么爬摩拜的数据 摩拜是最早进入成都的共享单车，每天我从地铁站下来的时候，在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有GPS的误差而找不到了；有些车被放到了小区里面，一墙之隔让骑车人无法获得到车。 那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面
“大数据”时代，数据分析岗位需求逐步增多，薪资也从最初的月薪1W到月薪5W。 不过从招聘网站上可以看出，高薪行业对数据分析能力要求也越来越严格，尤其是字节、阿里等大厂。 15 年，会用个 Excel，会查数据库就能找到很好的工作； 17 年，你得会做BI可视化，能给老板做漂亮的动态报表，同时还得精通Python； 到了 2022 年的今天，除了 Excel 、 Python 、 BI 这些基础的工具，你还要懂统计、建模、数据分析、业务增长等…… 为此，我从网站上搜了不少学习资料和视频，但看完只能
金三银四跳槽季，什么岗位最吃香？ 看看字节、腾讯等大厂给自家数据分析师开出的薪资，你就知道这个岗位有多火热了。 数据分析师的薪酬这么高，真的是因为做数据分析很难吗？ 当然不是！ 相较于写代码，数据分析所师需的技能门槛要低得多，甚至你只需要精通几个分析工具，就能拿到大厂offer。 比如别人做个可视化图表憋半天，而你用Tableau几分钟搞定；别人分析网站数据，分析半天结果未必准确，而你用Python迅速地出具一份专业报告；别人几个小时没查询完的数据，你用SQL几秒钟执行完毕。 这就是你的职场竞争力。 分
即使我们都是程序员，但我们也并非都会修电脑，都会做酷炫的ppt，都会优化系统卡顿。其实程序员也是分行业、分专业的，就像医生也分内外科、呼吸科、神经科神的。
共享经济的浪潮席卷着各行各业，而出行行业是这股大潮中的主要分支。如今，在城市中随处可见共享单车的身影，给人们的生活出行带来了便利。相信大家总会遇到这样的窘境，在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有GPS的误差而找不到了；有些车被放到了小区里面，一墙之隔让骑车人无法获得到车。 那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？带着这些问题，笔者开始了研究如何获取这些数
来源：钱塘大数据 本文长度为3297字，建议阅读7分钟 本文为你解答用Pyhon获取、分析单车数据的过程，并为你分析得出的结论。 共享经济的浪潮席卷着各行各业，而出行行业是这股大潮中的主要分支。如今，在城市中随处可见共享单车的身影，给人们的生活出行带来了便利。相信大家总会遇到这样的窘境，在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有GPS的误差而找不到了；有些车被放到了小区里面，一墙之隔让骑车人无法获得到车。 那么有没有一个办法通
那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？带着这些问题，笔者开始了研究如何获取这些数据。
警告：此篇文章仅作为学习研究参考用途，请不要用于非法目的。源代码请关注公众号并回复“摩拜”获取源代码 摩拜是最早进入成都的共享单车，每天我从地铁站下来的时候，在 APP 中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有 GPS 的误差而找不到了；有些车被放到了小区里面，一墙之隔让骑车人无法获得到车。 那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获
警告：此篇文章仅作为学习研究参考用途，请不要用于非法目的。 摩拜是最早进入成都的共享单车，每天我从地铁站下来的时候，在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有GPS的误差而找不到了；有些车被放到了小区里面，一墙之隔让骑车人无法获得到车。 那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获取这些数据。 从哪里获得数据 如果你能够看到数据
在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有GPS的误差而找不到了；有些车被放到了小区里面，一墙之隔让骑车人无法获得到车。 那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获取这些数据。 从哪里获得数据 如果你能够看到数据，那么我们总有办法自动化的获取到这些数据。只不过获取数据的方式方法决定了获取数据的效率。 对于摩拜单车的数据分析这个
工作日相较于周末使用量更多 分别比较工作日与周末的使用量，整体趋势为稳步增长趋势
10月29日，据新京报报道，ofo小黄车的国内的运营主体东峡大通（北京）已经完成了电单车的专利申请，该专利名称为“电单车的车速控制方法、系统及电单车”，主要解决因电单车误操作而造成的车辆突然加速的问题。
我想谈谈一些真实发生的案例，来给大家展示一下风险控制这个职业，能为公司产生什么样的价值或者损失。
半个月前，镁客君所在的南京市终于出现了已经风靡全国的ofo和摩拜等几家公司的共享单车。与其他城市一样，人们只需要下载一个APP，缴纳99元或者299元押金，就能够以每小时0.5~1元的价格骑上这些五颜
共享单车的分配与调度 摘要 随着共享经济的到来，共享单车发展迅速，已成为人们出行的重要交通工具。在共享单车迅速发展的同时也存在着资源配置的不合理性，本文通过研究共享单车的分配与调度模型，解决如何衡量在不同时空共享单车资源的需求量；如何分配不同地区共享单车，使共享单车数量趋于合理；设计优化资源配置的调度方案；以及作为共享单车公司负责人，设计一套运营方案这四个问题。针对以上问题解决如下： 针对问题一：建立合理指标分析不同时空共享单车资源的需求量。收集相关数据并分析，以10个区域为例，分别选取不同区域总需求量、不同时间段各区域实际骑行数量、不同区域不同时间段实际骑行数量等合理指标，分析不同时间和空间上共享单车资源的需求量。结果为短距离骑行人数较多，需求更大；区域6和区域8需要骑行的总人数较多；所有区域7:30-8:00、9:00-9:30、12:00-12:30为骑行高峰期，需求量更大。 针对问题二：本文基于马尔科夫链算法得到不同地区共享单车的分配方法。首先，利用各个区域实际骑行次数与各个区域总骑行次数得到转移矩阵，然后运用马尔科夫链，利用MATLAB软件得到各个区域共享单车数量最终趋于稳定值，且分配量与初始值的设定无关，从而得出不同区域共享单车的分配方法。最终得到共享单车分配数量从区域1到10分别为92辆、101辆、99辆、103辆、102辆、103辆、100辆、109辆、98辆、100辆。 针对问题三：结合不同区域的共享单车需求量和不同时间段不同区域共享单车的需求量以及不同区域共享的那车归还率，采取就近原则在三个高峰期分别从区域1向区域2调动20辆，区域7向区域5调度10辆，区域9向区域8调动10辆，区域10向区域8调动15辆的调度方案，从而解决共享单车的无车可用与车辆淤积问题。 针对问题四：作为共享单车公司负责人，设计出一套合理的运营方案。主要考虑前期的市场调研以及后期的运维及盈利。前期主要调查共享单车的骑行需求、空间分布特征以及骑行行为（供给时段性及空间失衡性），后期考虑运维问题，包括成本、利润以及客户满意度。通过热量图实时观测投放量、骑行量、归还比例等数据，给出合理的投放及调度方案。 关键字：共享单车 马尔科夫链 转移矩阵 MATLAB 调度模型 一、问题重述 随着共享经济的到来，共享单车飞速发展，极大提高了生活的便利性。但共享单车资源配置还存在一定的不合理性，请基于我国共享单车行业现状，搜集相关数据，回答以下问题： （1）建立合理的指标，分析不同时空共享单车资源的需求量。 （2）给出不同地区共享单车的分配方法，使共享单车的数量分配趋于合理。 （3）依据以上研究结果，建立新的模型，设计出共享单车的调度方案。 （4）从共享单车公司负责人的角度，设计出一套合理的经营方案，并论述其合理性。 二、问题分析 2.1问题一的分析 问题一需要建立合理的指标，来分析在不同时间和空间下共享单车的需求量。“不同时空”表示的含义是在一天中的不同时间段、不同区域。本文根据所搜集的资料，选择了十个区域，并且每30分钟划为一个时间段进行讨论。 首先，将搜集到的数据进行整理。分析在十个区域共享单车的需求量有什么区别，其次分析在不同时间段，需求量有什么差异。然后根据整理的数据建立不同时空下，共享单车的需求量模型。 2.2问题二分析 题目要求给出在共享单车数量能够趋于合理的情况下，不用同地区共享单车的分配方法。 根据已搜集到的数据，我们分别统计从第 个区域到第 个区域需要共享单车的人次，再统计实际骑行的从第 个区域到其他区域的总车辆数，得到转移矩阵。每个区域之间的共享单车的移动形成马尔可夫链（makov chain），最终得到线性系数差分方程组，得到不同地区的共享单车的分配方法。 2.3问题三分析 合理的调度方案能够促使在最低的投放量达到最好的运营效果。我们分析了调度的影响因素，主要分为两个：各个时间段各个区域共享单车的需求系数和共享单车的使用周转率。通过以上两个指标衡量共享单车的调度方案，我们求出需求矩阵以及不同时间段的各个区域的实际骑行量以及需求量，进而分析得到高峰期单车调度方案。 2.4问题四分析 原本定位在校园的共享单车开始在各大城市的地铁站点，公交站点，居民区，商业区等普及，共享单车成为了人们出行的重要交通工具。在共享单车迅速发展的同时也存在着资源配置的不合理性，用户无车可用，车辆淤积以及共享单车乱停乱放现象严重影响了用户体验，同时给城市管理也带来了挑战[1]。题目要求我们作为共享单车公司负责人，设计出一套合理的经营方案，同时分析其合理性。主要从两个方面入手：前期的市场调研以及后期的经营利润，在以上两个方面，考虑到实际情况，包括投放量、市场调度、市场需求、归还等因素。 三、符号说明 符号 说明 四、模型假设 （1）假设共享单车在行驶过程中不计入任何一个区域；
疫情不只是改变线上，同时也在对线下产业产生潜移默化的影响，比如旅游业自驾游成为主流，再比如出行行业私密性更强的两轮出行比公共出行更受欢迎，小牛、雅迪等两轮出行公司的股票爆发式增长，共享单车行业率先复苏，3月复工复产一开始，一些城市的交通部门就主动倡议市民中短距离选择共享单车出行，哈啰在4月宣布整体业务已恢复到去年同期的八成，5月已全面恢复。
1、Python编程基础，语法规则，函数与参数，数据类型，模块与包，文件IO，培养扎实的Python编程基本功，同时对Python核心对象和库的编程有熟练的运用。
经过近一年的辛苦创作、编辑、等待，本书终于出版了。这种感觉有点像是十月怀胎，但没有生育时候的痛苦，只有最后得到的欣喜。现在回忆起去年接到写书的邀请，然后到纠结，再到刚开始痛苦的写作，以及最后成稿后的释然，一切都觉得是一场人生的经历。我倒是认为写书的目的不是为了赚钱，写一本书给自己，总结自己的过往，将经验传播给他人，就可以了。
运行前请联系微信bcdata获取token，内置的token为演示用，单车位置是真实的，ID是随机的。
SODA理事会理事、苏打数据CEO高丰：只有数据流通，数据才能创造价值
如今，我们每个人都在谈论“数据科学”，哈佛商业评论杂志甚至将数据科学家定义为“21世纪最性感的职业”。在这个大数据时代，究竟什么是数据科学？数据科学领域的科学家、从业者们又究竟是怎样的一群人？他们在创造着什么令人着迷的东西？DT君将在2018年走访50位来自各行各业的顶尖数据科学从业者，希望能让你们了解这些神奇的人和他们神秘事儿，为你们一窥数据科学的未来与未知。
我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率
楚天都市报12月27日讯（记者潘锡珩）记者今天获悉，从12月28日起，地铁网上购票又增加了新的渠道。乘客通过摩拜小程序也可以在线购票，并在 楚天都市报12月27日讯（记者潘锡珩）记者今天获悉，从12月28日起，地铁网上购票又增加了新的渠道。乘客通过摩拜小程序也可以在线购票，并在地铁站通过取票机取票。 此前，已有三种网上购票方式：一是下载APP“购票通”；二是关注微信公众号“智慧地铁生活”；三是使用支付宝“城市服务”的功能“地铁购票”。支付宝、微信、翼支付均可支付。现在，用户通过微信中的“摩拜公交”小程序，也
分布式爬虫原理 27/10 周日 晴 在前面我们已经掌握了Scrapy框架爬虫，虽然爬虫是异步多线程的，但是我们只能在一台主机上运行，爬取效率还是有限。 分布式爬虫则是将多台主机组合起来，共同完成一
以上案例分布在各行各业，但其实都与金融【另类数据】有关，可以很好地诠释【另类数据】的价值与场景。
文|孟永辉 共享单车的底牌越来越明显，继传出摩拜和ofo即将合并的传闻之后，又有投资人表示共享单车不能靠投资来维持，必须实现自我盈利。在经历了将近一年的发展之后，共享单车作为一种后“互联网+”时代的商业模式开始逐步进入到调整期。 不断有共享单车平台关门倒闭，不断有用户反馈押金无法及时退还，共享单车遭遇到的是越来越多的质疑和诟病。在整个行业的发展逐步进入到新技术阶段的当下，共享单车的发展模式似乎已经不再具有新颖性，资本和市场对于共享单车的耐心变得越来越少。 共享单车在刚刚出现的时候，之所以能够受到诸多资本巨头
这是经典的主从分布式爬虫结构图，图中的控制节点ControlNode就是上面提到的master，爬虫节点SpiderNode就是上面提到的slave。下面这张图展示了爬虫节点slave的执行任务示意图
文|孟永辉 作为“互联网+”后时代的一种产物，共享单车的出现引爆了人们在全新市场环境下有关互联网的发展全新畅想。资本的轮番进入让本来就十分火热的共享单车市场更显火热，一场共享单车领域的资本大战正在拉开序幕。市场布局成为当前共享单车的主题，以摩拜单车、ofo为代表的共享单车巨头们不断扩大自身的市场布局，试图通过对于市场的瓜分来确立他们在整个共享单车市场当中的地位。 共享单车当前的市场状态与“互联网+”时代下火热的市场状态有几分相似：人们不断进入市场之中，原本机会很大的蓝海变成了市场竞争激烈的红海，资本和流量
尽管共享单车的红利期已经退却，但是人们对于共享单车的关注度丝毫没有减弱的迹象。有关ofo被收购的传闻不断引起人们的关注就是这种现象最为直接的体现。虽然ofo方面不断对传闻进行否定，但是资本的退却所导致的资金缺口让人不得不为ofo未来的走向平添几分担忧。
文|孟永辉 共享单车的倒闭潮并没有延缓人们对于它的怀疑与猜忌，有关合并，有关押金，有关活跃度等话题都在影响甚至改变着人们对于共享单车的原有认知。从小型的中下游平台到大型的头部平台，共享单车正在经历着一场自下而上的舆论洗礼和市场考验。共享单车到底是不是伪命题？如果不是，共享单车又要向何处去？这些问题正在成为当下共享单车市场亟待回答的主要问题。 从本质上看，共享单车的发展是一场由资本主导的大戏，它代表了移动互联网时代资本与行业共有的焦虑。而互联网巨头的加入则让共享单车行业的竞争上升到了更大的层面，对于共享单车的
文|孟永辉 入局者的减少、资本热度的减退、城市监管政策的出台都在让共享单车的热度正在陷入到退潮阶段，有关共享单车的未来到底要向哪里去的呼声日渐高涨。在经历了很短时间的飞速发展之后，共享单车俨然已经成为资本寒冬下的一条靓丽的风景线，其本身附着的支付、数据、场景都诸多特质都在不断助推着人们对于它的畅想。 随着市场的逐步回归冷静以及行业洗牌的逐步加剧，共享单车在接下来的一个阶段将会面临的一个最为突出的问题就是应当如何实现变现，如何实现资本后时代的自我成长。市场发展所呈现出来的状态告诉我们，以摩拜、ofo为代表的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
