小怪聊职场-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

小怪聊职场

专栏成员

115

文章

303708

阅读量

62

订阅数

架构|如何架构一个合适的企业API网关（1）API网关的介绍、应用场景、作用及常用方案

一、何为API网关？ APIGateway 即API网关，所有请求首先会经过这个网关，然后到达后端服务，有点类似于Facade模式。API网关作为系统接口对外的统一出口，可以减少调用方对服务实现的感知

2018-05-21

2.1K0

爬虫架构｜如何设计一款类“即刻”信息订阅推送的爬虫架构（二）

我之前在爬虫架构｜如何设计一款类“即刻”信息订阅推送的爬虫架构（一）中简单描述了我要做这个爬虫架构的思路，今天我们真正确定了这个架构的实现思路。分享如下：一、最开始的爬虫架构任务创建方式（常规方式）我们之前设计的爬虫任务创建方式为：用户A创建了一个主题X并选择了对应的内容源和装饰条件之后我们就会创建对应的爬虫任务，如果这个主题X选择了多个内容源1、2、3时，就会创建3个任务X1、X2、X3。另外如果用户B创建了另一个主题Y，选择的内容源为1、2后，那么就会创建Y1、Y2爬虫任务。基于以上的爬虫任务设定

2018-05-21

1.2K0

爬虫课程（十三）｜ajax分析法（雪球），通过获取api并破解api的反爬策略爬取数据

爬虫 ajax api json https

说明：本文是接着上一篇微博的ajax分析法进一步说明一种特殊情况。我们在上一篇文章爬虫课程（十二）｜ajax分析法（微博）：通过获取api爬取新浪微博内容数据实战中通过分析获取ajax方式请求的

2018-05-21

3K0

爬虫课程（十二）｜ajax分析法（微博）：通过获取api爬取新浪微博内容数据实战

爬虫 ajax api scrapy

一、回顾我们之前利用Scrapy爬取豆瓣网站信息时，直接通过加载目标URL返回的Response得到想要的值。我也在后面爬取知乎网站时通过模拟登录的方式进入到目标URL，也是通过返回的Response得到需要的值。这一次，我们将通过解析网站的HTTP请求去破解获取数据的API的方式去爬取想要的数据。二、找出微博用户唯一标示：oid 一般做爬虫爬取网站时，首选的都是m站，其次是wap站，最后考虑PC站，因为PC站的各种验证最多。当然，这不是绝对的，有的时候PC站的信息最全，而你又恰好需要全部的信息，那

2018-05-21

6.3K0

爬虫课程（十一）｜知乎：使用Scrapy模拟登录知乎

爬虫 scrapy api 人工智能

前面爬虫课程七、八、九、十，我把爬虫豆瓣读书的爬虫讲解完毕啦，我们很顺利地爬取了豆瓣读书书籍内容，爬取过程中也不需要用户登陆。然而，有些时候，我们要爬取某些信息时是需要我们在登陆的情况下才能获取到对

2018-05-21

1.5K0

管理｜从0开始组建一支研发团队（一）

今年5月底，我加入一家创业型公司，在我加入之前公司只有3位同事：企业负责人，HR和一位产品经理。那个时候产品的原型还没最终确定。我加入之后的首要工作就是组建一支App的研发团队，因为我们要做的产品就是一款App的社交平台。本文我将从总结的角度去回顾我们是如何组建团队并顺利进入产品攻坚战，重点阐述我在这个过程中的所做所思所想。一、需求原型确定企业负责人、产品经理和我经过长时间的产品评审，终于确定了V1.0.0版本的产品原型，原型一旦确定也就是需求确定，那么接下来的工作就是进入UI设计和产品研发。而对于

2018-05-21

1.6K0

大数据｜Hadoop简介及两大功能三大核心组件（二）

hadoop 分布式数据处理存储 api

一、为什么需要hadoop？在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。所以，在海量数据处理的需求下，一个通

2018-05-21

10.2K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态