首页
学习
活动
专区
工具
TVP
发布

未闻Code

专栏成员
586
文章
1128945
阅读量
93
订阅数
一日一技:为什么这个JSON无法解析?
我们知道,Python里面,json.dumps是序列化操作,json.loads是反序列化操作。当我使用json.dumps把一个字典转换为字符串以后,也可以使用json.loads把这个字符串转换为字典。
青南
2024-05-28
1090
一日一技:HTML里面提取的JSON怎么解析不了?
我们在开发爬虫的过程中,经常发现有一些网站,会直接把数据以JSON的形式,通过<script>标签放到页面源代码中。如下图所示:
青南
2023-10-22
2960
一日一技:JSON如何快速转成对象?
但如果这个JSON转成的字典,嵌套比较深,那么要读取里面的数据就非常麻烦了。如下图所示:
青南
2023-09-24
3060
为什么爬虫工程师应该有一些基本的后端常识?
今天在粉丝交流群里面,有个同学说他发现了Requests的一个 bug,并修复了它:
青南
2021-06-23
4390
一日一技:难以置信,还有人不知道反斜杠和引号的关系
为什么有人会问出这样的问题?为什么我可以毫不犹豫的知道 删除反斜杠没有任何不良影响?这就要从 Python 的单引号、双引号、三引号说起了。
青南
2021-06-23
1.6K0
一日一技:Scrapy 如何正确 Post 发送 JSON 数据
我们知道,HTTP请求的 POST 方式,提交上去的数据有很多种格式。例如JSON/form-data/x-www-form-urlencoded等等。我们在 Postman 的 POST 请求里面,可以看到这些数据格式,如下图所示:
青南
2021-06-23
3K0
一日一技:你怎么总是搞不清反斜杠的问题
大家在开发Python的过程中,一定会遇到很多反斜杠的问题,很多人被反斜杠的数量搞得头大。
青南
2021-03-20
2.2K0
最完美方案!模拟浏览器如何正确隐藏特征
在前天的公众号文章《别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征》中,我们提到目前网上的反检测方法几乎都是掩耳盗铃,因为模拟浏览器有几十个特征可以被检测,仅仅隐藏 webdriver 这一个值是没有任何意义的。
青南
2020-12-02
7.2K0
一日一技:不用游标卡尺,Yaml 格式5分钟入门
业界常常流传一个笑话,写 YAML 配置的时候,需要用游标卡尺比着屏幕来写。稍稍多一个空格少一个空格,配置文件就会报错。
青南
2020-02-19
8110
GNE v0.1正式发布:4行代码开发新闻网站通用爬虫
GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块,输入一篇新闻网页的 HTML, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色,几乎能够达到100%的准确率。
青南
2020-02-11
1.4K0
一日一技:包含非hashable元素的列表如何去重并保持顺序?
如果是一个包含数字的列表,我们要对它进行去重同时保持剩余数据的顺序,可以使用集合来实现:
青南
2019-06-11
1.2K0
【Redis实战】快速简单搭建聊天室04——实现页面功能
聊天消息保存在Redis里名为“chat_list”列表中,新的消息在列表右侧,老的消息在列表左侧。每次返回最右侧的20条信息。获取聊天消息的功能对应的方法为get_chat_list()。修改这个方法,实现获取消息列表:
青南
2019-04-25
1.8K0
【一日一技】破译反斜杠数量问题的密码
“大家在开发Python的过程中,一定会遇到很多反斜杠的问题,很多人被反斜杠的数量搞得头大。这期我们就来介绍一下如何处理这些让人头疼的反斜杠。”
青南
2019-04-09
2.2K0
彻底搞懂Scrapy的中间件(三)
在前面两篇文章介绍了下载器中间件的使用,这篇文章将会介绍爬虫中间件(Spider Middleware)的使用。
青南
2019-01-09
5340
一日一技:使用Scrapy的选择器来解析HTML
在使用Scrapy抓取网站的时候,可能会遇到这样的情况,网站返回一个JSON字符串。在JSON字符串中又有一项,它的值是HTML。
青南
2019-01-09
1.8K0
如果你不知道做什么,那就学一门杂学吧
多年以后,面对人工智能研究员那混乱不堪的代码,我会想起第一次和S君相见的那个遥远的下午。那时的B公司,还是一个仅有6个人的小团队,Mac和显示器在桌上依次排开,大家坐在一起,不需要称呼姓名,转过脸去,对方就知道你在和他说话。一切看起来都那么美好,我们所有人,都希望自己和这个公司能够一起成长。
青南
2019-01-09
6560
Tenacity——Exception Retry 从此无比简单
Python 装饰器装饰类中的方法这篇文章,使用了装饰器来捕获代码异常。这种方式可以让代码变得更加简洁和Pythonic。
青南
2019-01-09
6110
如果你不知道做什么,那就学一门杂学吧
多年以后,面对人工智能研究员那混乱不堪的代码,我会想起第一次和S君相见的那个遥远的下午。那时的B公司,还是一个仅有6个人的小团队,Mac和显示器在桌上依次排开,大家坐在一起,不需要称呼姓名,转过脸去,对方就知道你在和他说话。一切看起来都那么美好,我们所有人,都希望自己和这个公司能够一起成长。
青南
2018-10-13
7730
TeamFlowy——结合Teambition与Workflowy
Teambition是一个跨平台的团队协作和项目管理工具,相当于国外的Trello。使用Teambition可以像使用白板与便签纸一样来管理项目进度,如下图所示。
青南
2018-08-31
1.2K0
Tenacity——Exception Retry 从此无比简单
Python 装饰器装饰类中的方法这篇文章,使用了装饰器来捕获代码异常。这种方式可以让代码变得更加简洁和Pythonic。
青南
2018-08-30
1.3K0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档