小歪

LV1
发表了文章

分布式全站爬虫——以"搜狗电视剧"为例

打开一个具体的影视:http://kan.sogou.com/player/181171191/,网址中有具体数字ID,我们假设数字ID就是递增的,即从1开始,...

小歪
发表了文章

IO模型

说到IO模型,都会牵扯到同步、异步、阻塞、非阻塞这几个词。从词的表面上看,很多人都觉得很容易理解。但是细细一想,却总会发现有点摸不着头脑。自己也曾被这几个词弄的...

小歪
发表了文章

大数据学习路线

上图是一个简化的大数据处理流程图,大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解:

小歪
神经网络机器学习AI 人工智能深度学习Java
订阅了专栏

腾讯云自媒体分享计划

3 文章3.2K 关注者
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 20 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答3.2K 关注者
发表了文章

Redis SCAN的使用

有时候需要从 Redis 实例成千上万的 key 中找出特定前缀的 key 列表来手动处理数据,可能是修改它的值,也可能是删除 key。这里就有一个问题,如何从...

小歪
编程算法CSSRedis
发表了文章

谈一谈es的优势和限制

企业内部使用的elasticsearch是提供垂直搜索的一种方案,什么是垂直搜索呢。

小歪
MySQLSQL数据库搜索引擎编程算法
发表了文章

JS逆向常见混淆总结

小歪
编程算法网站
发表了文章

TSDK:淘宝开放平台或淘宝登录爬取

此API设定还不完全,不过通过观察请求的方式可以发现加密放在了请求头里面,原本的链接上面没有的加密,不过也不一定,有的请求还是有携带加密参数的,不过之后的API...

小歪
APIIDENode.js爬虫短信
发表了文章

【面试高频问题】线程、进程、协程

需要先对 IO 的概念有一定的认识: IO在计算机中指Input/Output,也就是输入和输出。

小歪
压力测试编程算法
发表了文章

scrapy的errback

failure.request就是我们创建的Request对象,如果需要重试,直接yield即可errback函数能捕获的scrapy错误有:连接建立超时,DN...

小歪
ScrapyHTTP
发表了文章

cURL——爬虫开发神器

就可以直接转换为Python的requests,Headers什么的就不需要手动粘贴了。

小歪
PHP命令行工具PythonHTTP
发表了文章

为什么你就不能加个空格呢?

想写这篇文章很久了,也想做这件事很久了,我个人感觉自己是有强迫症的,所以一直有什么事让我看着不太舒服就想把它纠正过来。

小歪
发表了文章

拜托,面试官别问我「布隆」了

一个网站有 100 亿 url 存在一个黑名单中,每条 url 平均 64 字节。这个黑名单要怎么存?若此时随便输入一个 url,你如何快速判断该 url 是否...

小歪
PHP编程算法
发表了文章

Python - 描述器

我们可以使用 Python 自带的 property 装饰器 来控制属性的访问,下面这个例子通过 property 控制了 Person 的 age 属性的访问...

小歪
Python
发表了文章

【源码解读】如何充分发挥 Scrapy 的异步能力

但是,在日常工作和面试过程中,经常发现有些同学会笃定地认为 Scrapy 采用的是多线程并发模型。实际上,虽然 Twisted 框架提供了线程池支持,但是其核心...

小歪
Underscore
发表了文章

Docker通过EFK(Elasticsearch + Fluentd + Kibana)查询日志

这篇文章主要是参考Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Do...

小歪
容器DockerElasticsearchApache日志服务
发表了文章

刷题之合并K个排序链表

从21. 合并两个有序链表的基础上,我们已经能够解决两个有序链表的问题,现在是k个有序链表,我们可以将第一二个有序链表进行合并,然后将新的有序链表再继续跟第三个...

小歪
编程算法
发表了文章

TensorFlow 验证码识别

在`src/data/captcha`下存放验证码图片,一般名字就是答案,然后需要在`src/data/captcha.json`中描写对应关系,例如

小歪
Python
发表了文章

scrapy去重与scrapy_redis去重与布隆过滤器

在开始介绍scrapy的去重之前,先想想我们是怎么对requests对去重的。requests只是下载器,本身并没有提供去重功能。所以我们需要自己去做。很典型的...

小歪
ScrapyRedisHTTP文件存储PHP

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券