腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
未闻Code
专栏作者
举报
582
文章
1060925
阅读量
92
订阅数
订阅专栏
申请加入专栏
全部文章（582）
python（255）
编程算法（143）
爬虫（65）
https（40）
http（37）
网络安全（35）
javascript（33）
云数据库 Redis（32）
html（31）
sql（31）
网站（31）
数据库（30）
mongodb（30）
scrapy（27）
官方文档（23）
php（22）
selenium（22）
json（19）
正则表达式（18）
tcp/ip（18）
ide（17）
git（17）
云数据库 MongoDB（16）
其他（15）
github（14）
linux（14）
开源（13）
node.js（12）
java（11）
api（11）
文件存储（11）
go（10）
容器镜像服务（10）
xslt & xpath（10）
windows（9）
产品经理（8）
腾讯云测试服务（7）
游戏（7）
分布式（7）
腾讯云开发者社区（7）
云数据库 SQL Server（6）
ubuntu（6）
ssh（6）
kafka（6）
测试（6）
数据（6）
mac os（5）
xml（5）
css（5）
android（5）
flask（5）
打包（5）
nginx（5）
命令行工具（5）
缓存（5）
markdown（5）
微信（5）
安全（5）
数据分析（5）
es（5）
c++（4）
django（4）
数据加密服务（4）
容器（4）
shell（4）
面向对象编程（4）
unicode（4）
excel（4）
pandas（4）
代理（4）
函数（4）
模型（4）
字符串（4）
ios（3）
访问管理（3）
电商（3）
numpy（3）
etcd（3）
dataframe（3）
datetime（3）
key（3）
redis（3）
requests（3）
set（3）
time（3）
表格（3）
程序（3）
服务器（3）
工作（3）
接口（3）
开发（3）
手机（3）
NLP 服务（2）
iphone（2）
c 语言（2）
jquery（2）
arm（2）
web.py（2）
搜索引擎（2）
svg（2）
存储（2）
自动化（2）
grep（2）
二叉树（2）
单元测试（2）
数据结构（2）
ascii（2）
验证码（2）
Elasticsearch Service（2）
bug（2）
curl（2）
data（2）
device（2）
func（2）
gpt（2）
prompt（2）
遍历（2）
队列（2）
对象（2）
二进制（2）
工具（2）
后端（2）
技巧（2）
开发者（2）
配置（2）
搜索（2）
装饰器（2）
云服务器（1）
机器学习（1）
lua（1）
bash（1）
actionscript（1）
vue.js（1）
ecmascript（1）
makefile（1）
sqlite（1）
matlab（1）
unix（1）
apache（1）
bash 指令（1）
apt-get（1）
mapreduce（1）
专用宿主机（1）
日志服务（1）
SSL 证书（1）
图像处理（1）
webpack（1）
运维（1）
图像识别（1）
监督学习（1）
npm（1）
自动化测试（1）
rpc（1）
jenkins（1）
kernel（1）
hexo（1）
anaconda（1）
机器人（1）
企业组织（1）
图片处理（1）
add（1）
app（1）
async（1）
bit（1）
channel（1）
chat（1）
collections（1）
connect（1）
date（1）
display（1）
dsl（1）
element（1）
emoji（1）
error（1）
eval（1）
exception（1）
exec（1）
format（1）
free（1）
init（1）
int（1）
io（1）
ip（1）
list（1）
memory（1）
mock（1）
mysql（1）
na（1）
object（1）
ode（1）
office（1）
patch（1）
pdf（1）
photoshop（1）
pip（1）
plugin（1）
plugins（1）
poco（1）
powerpoint（1）
pymongo（1）
queue（1）
record（1）
reduce（1）
rename（1）
response（1）
search（1）
self（1）
sensors（1）
size（1）
sleep（1）
string（1）
tmux（1）
url（1）
warnings（1）
xor（1）
zip（1）
编程（1）
编程语言（1）
编辑器（1）
程序员（1）
登录（1）
递归（1）
翻译（1）
分布式系统（1）
公众号（1）
管理（1）
脚本（1）
进程（1）
镜像（1）
跨域（1）
框架（1）
连接（1）
流量（1）
内存泄漏（1）
逆向工程（1）
权限（1）
日志（1）
软件（1）
事务（1）
同步（1）
统计（1）
图表（1）
网络（1）
系统（1）
协程（1）
压缩（1）
异步（1）
异常（1）
隐私（1）
优化（1）
域名（1）
搜索文章
搜索
搜索
关闭
一日一技：分布式系统的低成本权限校验机制
网站
分布式系统
服务器
后端
权限
经常关注未闻Code的同学都知道，我做了一个叫做GNE[1]的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。
青南
2023-11-23
166
0
一日一技：如何安全运行别人上传的Python代码？
python
网站
安全
镜像
日志
写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。
青南
2023-10-30
182
0
一日一技：HTML里面提取的JSON怎么解析不了？
html
json
网站
正则表达式
字符串
我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据以JSON的形式，通过<script>标签放到页面源代码中。如下图所示：
青南
2023-10-22
243
0
一日一技：Requests被网站识别怎么办？
网站
爬虫
curl
requests
代理
现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。
青南
2023-10-22
281
0
一日一技：Requests被网站识别怎么办？
网站
爬虫
curl
requests
代理
现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。
青南
2023-10-22
554
0
一日一技：在Scrapy中如何拼接URL Query参数？
网站
爬虫
scrapy
url
字符串
我们知道，在使用Requests发起GET请求时，可以通过params参数来传递URL参数，让Requests在背后帮你把URL拼接完整。例如下面这段代码：
青南
2023-09-11
354
0
一日一技：不走常规路线，列表页1秒抓取
网站
爬虫
框架
搜索
域名
抓文档的正文非常简单，使用GNE高级版，只要有URL直接就能抓取下来，如下图所示：
青南
2023-08-21
206
0
一日一技：Prompt逆向工程，破解小红书文案生成器
网站
prompt
测试
模型
逆向工程
关注我公众号的很多同学都会写爬虫。但如果想把爬虫写得好，那一定要掌握一些逆向技术，对网页的JavaScript和安卓App进行逆向，从而突破签名或者绕过反爬虫限制。
青南
2023-08-21
827
0
爬虫出海Step by Step(一)
爬虫
api
网站
数据分析
https
上周的文章《一日一知：国内爬虫开发人员的未来》发布以后，很多同学私信我表示对爬虫出海很有兴趣，希望我能详细介绍一下。因此，我准备用几篇文章来介绍爬虫出海的具体做法细节和注意事项。
青南
2022-05-23
1.5K
1
一日一知：架构到底是什么？
爬虫
网站
编程算法
数据库
sql
有同学问：总会听到身边的大佬们谈到架构，感觉很高级，架构到底是一个什么样的东西呢？
青南
2022-05-23
612
0
一日一知：国内爬虫开发人员的未来
网站
游戏
NLP 服务
电商
爬虫
最近两年，我已经没有做过国内任何网站的爬虫了，根据这两年爬海外网站的一些经验，谈谈我的发现和想法。
青南
2022-04-07
1.2K
2
一日一技：为什么网站知道我的爬虫使用了代理？
tcp/ip
爬虫
网站
云服务器
实际上，网站要识别你是否使用了代理，并不一定非要什么高深的反爬虫机制，也不需要使用AI识别用户行为。下面这几种情况，要识别代理简直是易如反掌。
青南
2022-04-07
1.1K
0
你以为的万能爬虫方法，其实一行代码就能识别！
javascript
selenium
api
网站
网络安全
在以前的公众号中，我提到Selenium/Puppeteer/Pyppeteer有很多特征可以被网站检测到。于是，有些同学想到了另一个方法，就是自己写一个Chrome插件，在网站打开的时候，注入到页面中，然后通过这个注入的JavaScript代码来操作页面，获取数据。
青南
2022-02-11
1.5K
0
一日一技：爬虫模拟浏览器如何避免重复登录？
爬虫
selenium
网站
验证码
当我们使用模拟浏览器访问一个网站的时候，可能会遇到网站需要登录的情况。我的爬虫练习网站提供了这样一个登录练习[1]的案例。
青南
2021-12-16
1.3K
0
一日一技：怎么>重定向不过去了？
c++
c 语言
网站
很多人应该都知道，在命令行中，可以使用大于号>把程序打印出来的文本重定向到文件中。例如，有这样一个程序：
青南
2021-12-13
500
0
未闻Code·知识星球周报总结（九）
爬虫
python
网站
git
之前发了一篇关于Python的black库格式化代码的文章一日一技：如何用一行命令格式化 Python 代码？，有人问：Pycharm就能格式化代码，为什么还要这个第三方库呢？
青南
2021-11-12
432
0
【粉丝投稿】Python调用浏览器时如何用JS去弹窗？
github
git
开源
网站
公司项目代码中有对网页进行截图并识别的。但是因为网站都比较特殊，几乎都有弹窗，这样就影响到了算法同学的识别效果。
青南
2021-09-09
1.4K
0
为什么随机 IP、随机 UA 也逃不掉被反爬虫的命运
SSL 证书
https
tcp/ip
网站
编程算法
有些同学在写爬虫的时候，觉得只要自己每次请求都使用不同的代理 IP，每次请求的 Headers 都写得跟浏览器的一模一样，就不会被网站发现。
青南
2021-09-09
668
0
再见 HTTP 1.1，怎样把网站升级成 HTTP 2？
http
https
网络安全
nginx
网站
由于网站并行加载的资源比较多，HTTP 2 相比 HTTP 1.1 来说，所有的连接共享一个 TCP 连接，同时一个域名下还没有最多同时连接数的限制，加载速度会比 1.1 好一些。
青南
2021-06-23
2.1K
0
别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征
selenium
爬虫
网站
很多人喜欢使用Selenium 或者 Puppeteer(Pyppeteer)通过模拟浏览器来编写爬虫，自以为这样可以不被网站检测到，想爬什么数据就爬什么数据。
青南
2020-12-02
9.5K
5
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档