学习笔记（宝藏）

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

一、构造url
先取网站一页的url进行观察：
https://www.vilipix.com/ranking?date=20220122&mode=daily&p=2
可以发现，是由四部分组成，简单

【python爬虫】PyQuery实战：爬取镜像p站每日榜单图片

为了从激光雷达数据中检测障碍物，首先对地平面进行分段，从有组织的激光雷达数据中分割出属于地平面的点。

matlab利用已有激光雷达数据寻找地平面和车辆周围的障碍物仿真实验

该驾驶场景表示主车辆自南向北行驶，执行穿过十字路口，包含一个毫米波雷达。另一辆车在十字路口的左侧车道驶来，在十字路口进行左转弯，且行驶在主车前面。

matlab利用雷达检测器模块对驾驶场景中的车辆进行识别仿真

写这篇文章，我才发现，数据是真的可贵，好难找啊，找了好久，才找到这个方便爬虫爬取的，而且容易符合制作规则的数据。

一文教会你制作精美的动态图表

此时，可以看到括号里的名称已经从python_test1变成了base，就代表退出了虚拟环境

❤️关于Anaconda虚拟环境，新手阶段保姆级教学❤️

🍑源生动力😍
对于文章，标题是其浓缩的精华；那么对于视频，其封面就可能是最亮眼的那一帧。B站，作为最近比较火热的短视频平台，其舞蹈区各种各样的舞蹈，尤其是宅舞，深受“宅男”的喜爱。（别和我说什么黑丝、jk，我真的不喜欢😆 ）
[在这里插入图片描述]
于是乎，我就尝试使用爬虫获取B站的封面。
🍉网页获取
B站是有防爬措施的，我一开始根据网页进行分析，无果。
转念一想，这么火热的B站，想爬取的人肯定不止我一个，于是乎，我就开始搜索相关的文章和视频。
啪的一下，很快啊，我就找到一篇，根据B站AV号爬取封面图片的文

❤️心动挑战❤️python爬虫爬取B站封面图片

很久之前就萌生了想爬取王者荣耀英雄台词语音，因为语音资源不是很好找，从官网获得的话，也比较麻烦。最近刚好有朋友需要语音素材，于是我就顺便帮了他一把。

Python爬虫实例十七：爬取王者荣耀英雄语音

前言
安装完pydub库之后，运行代码出现以下错误
[在这里插入图片描述]
"Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work"
其实就是没找到 ffmpeg.exe
解决方法如下：
一、安装ffmpeg（已经安装可跳过）
安装ffmpeg
这里提供两个途径：
①、GitHub文档：https://github.com/BtbN/FFmpeg-Builds/releases/
②、百度网盘：（这个只有我自己下的版本

python库ffmpeg的错误解决方法

新手使用的话，可能会遇到一些问题，我写了一篇关于依赖库ffmpeg的文章，可以参考一下：

Python爬虫有用的库：pydub，处理音视频的库

练习爬虫的小伙伴，在爬取数据比较多的时候，有时候等候的时间比较久一点，因为不知道具体的进度，可能会感到一丝丝无聊

Python爬虫有用的库：tqdm

练习爬虫的许多小伙伴，在爬取网页时，肯定遇到过页面乱码的情况，其实是网页编码没有成功配对。

Python爬虫有用的库：chardet

练习爬虫的很多小伙伴，在进行request请求时，大部分情况下都要添加一个请求头，而最常见的就是添加user-agent，帮助爬虫伪装成浏览器正常操作。

Python爬虫有用的库：fake_useragent

链接：https://pan.baidu.com/s/124fYJYBzT1JmLAjJ9yGZtA

Clion的配置

英文好的同学可以在安装好you-get之后，打开cmd，输入you-get，即可获取说明。我英文不是很好，我去网上搜的翻译。

you-get--一个爬取视频的库

用到的库有：win32api、win32con、win32gui、pathlib、time、random

使用Python做一个切换电脑桌面壁纸的小程序

上一篇讲到使用正则表达式来定位获取目标数据。这一篇来简单的看一下，使用Beautiful Soup来定位获取数据。

Python爬虫基础七：BeautifulSoup

我在刚开始学的时候，第三步是花费时间最多的地方。学习了一段时间，学了四种方法，分别是正则表达式、Beautiful Soup 、Xpath和PyQuery。接下来这几篇文章（包括这篇但不限于这篇文章），我会来逐步来分享我对这几种方法的理解。

Python爬虫基础六：正则表达式

一、前言
本系列文章，代码运行展示，将使用PyCharn进行运行。
二、循环语句
1、遍历循环
格式：
for 变量 in range(stop)  ==>遍历0~stop-1
for 变量 in range(start,stop)  ==>遍历start~stop-1
for 变量 in range(start,stop,step)  ==>遍历start~stop-1，默认步长为1
例如：
print('格式1结果')
for i in range(4):
    print(i)
print('格式二

Python爬虫基础五：循环语句和条件语句

在新手爬虫阶段，我觉得最常用的几个库，有re、requests、lxml、bs4、os、  sleep 等等，具体的可以看后面的实例。

Python爬虫基础四：库

本系列文章，代码运行展示，将使用PyCharn进行运行。有一些代码有注释，记得看代码哟。

Python爬虫基础三：字典

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

腾讯云开发者社区推出了学习笔记（宝藏）专栏，为你提供了学习笔记（宝藏）的相关文章，致力于帮助开发者快速成长与发展。

学习笔记（宝藏）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐