腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

未闻Code

专栏作者

582

文章

1066208

阅读量

92

订阅数

一日一知：自学爬虫的求职建议

php 网络安全二叉树 python

前几天有一位知识星球中的同学讲了他目前的状况，希望咨询一些未来发展的问题，感觉应该和许多想要去好一点大公司的求职者有一些共性建议：这位同学目前是专升本，专科大三下半年在小公司实习过，从专科大三实习到去年9月入学现在的本科学校，期间一直在兼职接单，做过很多项目，自己也有一直在学习，但是学习的很散（基础的东西很薄弱、知识体系很散东一点、西一点），目前希望能够去一个好点的大公司。对大项目架构、设计模式什么的一窍不通。app 大多数JAVA层的都能解决，so层算法还原不行，只能frida-rpc，web 可以解决少部分加密，风控解决不了只会普通的用iP去怼。

2022-04-07

8791

def函数里面什么时候可以用ensure_future ？

javascript node.js tcp/ip php python

Python的虚拟环境其实就是把一部分内容独立出来，安装依赖包而不影响其它，有效地避免不兼容问题。如果是在虚拟环境下运行某病毒，它把我的某些东东删了，即使退出虚拟环境，删了就是删了，无法还原了。病毒的杀伤力大概率只能删文件，其余不构成影响。我这样理解，没错吧？

2021-12-27

1.1K0

一日一技：亲眼所见，也非真实，如何明目张胆架设后门程序

http node.js shell javascript php

这样的言论显然非常天真，一来，并不会有很多人真的去看源代码；二来，有一些缺陷隐藏得很深，光看源代码看不出来，例如 log4j2；第三，有办法把后门藏在一段非常安全的代码里面，你即使看源代码也看不出哪里有问题。

2021-12-27

5720

一日一技：Puppeteer 不重启如何更换代理 IP

tcp/ip 爬虫 http php javascript

我们知道，在写爬虫的过程中，如果总是使用同一个 IP，很容易就会被网站识别并封禁，所以需要使用代理 IP 并经常更换。

2021-12-21

3K0

一日两技：关于Instagram和Golang的ORM框架

https 网络安全 go 编程算法 php

如果你想访问Instagram，那么你需要访问国外网站。如果你需要保存某个账户下面的图片，那么你需要用电脑网页版一张一张保存

2021-12-08

7280

未闻Code·知识星球周报总结（七）

php 爬虫 http scrapy 云数据库 Redis

1. 看数据量。数据量小，数据放在内存里面；数据量中等，数据放在基于内存的数据库里面；数据量特别大，数据放在硬盘里面。

2021-10-19

7900

未闻Code·知识星球周报总结（六）

php scrapy http python 云数据库 Redis

之前在知识星球上有人问如下找出连续子序列的最大和，这样算是不是很慢？哪里可以优化呢？

2021-10-19

5180

一日一技：如何替换URL中的query字段？

php https 网络安全编程算法正则表达式

在我们写爬虫的时候，可能会需要在爬虫里面基于当前url生成一个新的url。例如下面这段伪代码：

2021-09-09

1.6K0

一日一技：前端与后端都是怎么读写 Cookies 的？

php javascript api 网络安全

大家应该看过一些网站，在第一次访问的时候，它会弹出一些小提示或者操作指导，类似于下图所示：

2021-07-20

7980

一日一技：Scrapy 如何正确 Post 发送 JSON 数据

json 官方文档 scrapy http php

我们知道，HTTP请求的 POST 方式，提交上去的数据有很多种格式。例如JSON/form-data/x-www-form-urlencoded等等。我们在 Postman 的 POST 请求里面，可以看到这些数据格式，如下图所示：

2021-06-23

2.7K0

一日一技：如何识别一张图片的格式

php 图片处理

在有些时候，我们拿到了一张图片的二进制数据，但却不知道这张图片应该是什么格式。例如，某个 HTTP接口返回给你一段 Base64编码的图片数据，如下图所示：

2021-03-04

1.7K0

成千上万个站点，日数据过亿的大规模爬虫是怎么实现的？

爬虫 php python 分布式

1.网页文本智能提取；2.分布式爬虫；3.爬虫 DATA/URL 去重；4.爬虫部署；5.分布式爬虫调度；6.自动化渲染技术；7.消息队列在爬虫领域的应用；8.各种各样形式的反爬虫；

2020-12-03

1.4K0

一日一技：如何从 URL 中快速提取域名？

https 网络安全 php

有时候，我们要从一段很长的 URL 里面提取出域名。例如从https://www.kingname.info/2020/10/02/copy-from-ssh/，我需要获取的是kingname.info。

2020-11-03

4.7K0

一日一技：FastAPI如何关闭接口文档？

api 官方文档 https 网络安全 php

FastApi 自带的接口文档，让我们在开发后端接口的时候省了不少的工作量。它能自动根据你的代码识别接口的参数，还能根据你的注释生成接口的说明，如下图所示：

2020-09-14

5.2K1

为什么GNE 不做全自动提取列表页的功能

xslt & xpath html php 自动化

GNE 上线以后，很多同学在用户群里面问到，GNE 能否支持列表页自动提取？例如对于下图中的新闻标题列表：

2020-07-29

1.1K0

Python 为什么用 # 号作注释符？

python 编程算法 shell php

然而关于注释的规范，这个话题就像我们之前聊过的缩进、终止符和命名方式一样，众口难调。

2020-07-22

1.1K0

给 Python 初学者解答了无数遍的 Python 环境相关问题

python shell php

为了避免总是被初学者问相同的问题，我总结了一些在公众号粉丝群里面被问得比较多的问题。

2020-06-11

1.2K0

Callback ——从同步思维切换到异步思维

这是一种非常常见的直线性思维，我先请求网站拿到 html，然后我再把 html 传给负责处理的函数。在整个过程中，“我“担任着调度的角色。

2020-04-26

5810

异步思维——把请求与解析分开

php 编程算法 javascript node.js

在昨天的文章《Callback ——从同步思维切换到异步思维》，我们举的例子似乎还不能很好地说明 Callback 的优势。今天我们再来看另外一个场景。

2020-04-26

3870

等一等，你的多线程可别再乱 join 了。

编程算法 python php

如果你在网上搜索“Python 多线程”，那么你会看到很多文章里面用到了一个关键词，叫做.join()。但是很多人的代码里面都在乱用 join()，例如：

2020-03-26

8.5K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态