首页
学习
活动
专区
工具
TVP
发布

python爬虫实战之路

专栏作者
85
文章
191865
阅读量
28
订阅数
搭建Gitea+Drone轻量级代码管理和CI服务
Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证,它是从Gogs发展而来的,因为Gogs由单一管理者做决定,因此诞生了Gitea,它采用社区管理模式,增加了诸多新特性,而且由社区众多的维护者来决定它的发展方向,因此拥有更强的生命力和发展潜力。
星星在线
2023-03-20
1.4K0
Django Swagger文档库drf-spectacular
在使用DRF的时候,通常的文档有:默认文档RestFrameWork、CoreAPI、Swagger,Swagger是最流行的API文档库,在绝大多数服务端开发中都有用到,之前我们使用了CoreAPI来生成文档,一方面是它不够流行,没办法和其他工具结合,另一方面可能是我不熟悉,所有有些接口并不能按照我们的要求来使用。因此我选择使用Swagger文档,之前使用过drf-yasg,但是drf-yasg现在还不支持OpenAPI 3.0,而在drf-yasg的官方文档中为我们推荐了另一个库:drf-spectacular,而且声明了drf-yasg不太可能支持OpenAPI 3.0,因此推荐我们使用drf-spectacular这个库。
星星在线
2023-03-20
1.6K0
JS系列2-怎么把一个对象当做数组使用
我们知道在JS中对象和数组的操作方式是不一样的,但是我们可以通过封装,给对象加一层包装器,让它可以和数组拥有同样的使用方式。我们主要借助Object.keys()、Object.values()、Object.entries()、Proxy。
星星在线
2023-03-20
1.7K0
JS系列1-布尔陷阱以及如何避免
布尔陷阱 当一个布尔型变量在表达某种意思存在歧义的时候,我们称之为布尔陷阱。通常最常见的布尔陷阱示例是一个接收布尔参数的函数。
星星在线
2023-03-20
4410
docker网段冲突导致主机网络异常处理
最近公司服务器网络出现了问题,现象就是有台主机不能访问某个网段的机器,无法ping通。原因是在启动docker容器的时候突然断开连接,然后就连接不上了。服务器网段是100.10.x.x,被访问机器是172.17.x.x。
星星在线
2023-03-20
1.8K0
Electron+Vue3.2+TypeScript+Vite开发桌面端
Electron可以让程序员重用Web的代码,使用HTML、CSS、JavaScript来构建桌面应用,并在不同平台上使用。
星星在线
2022-08-31
2.1K0
搭建 sonarqube 代码质量扫描环境
最近在给公司搞代码质量管理,因为之前出了线上事故,以前都没人关注的,代码风格五花八门,尤其是前端代码,因为最新的 TypeScript 是支持类型注释的,而很多前端程序员使用 JS 时间比较长,一下子适应不过来,写代码时不做类型检查、不做异常判断,把 BUG 都抛给浏览器,这就导致项目可靠性差、安全度低、可维护性极差。因此借着这个机会,把祖传代码也规范一下。
星星在线
2022-04-27
1.7K0
手把手搭建koa2后端服务器-登录认证
现在我们的开发方式都是采用前后端分离的方式,因此后端一般都只提供数据,这就造成前后端域名不同,存在跨域请求的问题,浏览器为了安全方面考虑,对跨域请求有限制。为了避免非同源请求的失败,我们需要采取跨域资源共享 CORS 来解决这个问题。
星星在线
2022-04-27
5450
手把手搭建koa2后端服务器-请求参数与数据校验
koa-body 可以代替代替 koa-bodyparser 和 koa-multer 处理请求参数和文件上传
星星在线
2022-04-27
8140
手把手搭建koa2后端服务器-日志模块和文件上传
添加日志模块 日志记录是网站开发必备的模块,方便我们进行线上问题定位。 安装 log4js yarn add log4js yarn add -D @types/log4js 配置和使用 配置文件中增加日志配置 src/config/index.ts log: { appenders: { out: { type: 'stdout' }, app: { type: 'file', filename: 'logs/app.log',
星星在线
2022-03-29
6940
手把手搭建koa2后端服务器-项目初始化
koa2 作为 nodejs 中面向未来的 web 开发框架,对于想做全栈的工程师基本是必学的,但是它并不是一个开箱即用的框架,很多必要模块需要我们自己去安装配置,整个项目框架都需要我们自己搭建,因此我把自己搭建框架的步骤记录下来,仅供参考。
星星在线
2022-03-29
1.8K0
Docker 搭建 GibLab 代码管理仓库
GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的Web服务。
星星在线
2021-07-14
8720
K8S包管理神器-Helm
在我们学习 kubernetes 的过程中,用的最多的是 kubectl 命令行工具,使用 kubectl 工具需要我们编写好各种部署文件,这在生产中是非常不方便的,因此 Helm 这个 kubernetes 包管理工具就应运而生了。
星星在线
2021-01-04
4.5K0
Python 中的魔法函数
魔法函数是Python中的特性,学习好魔法函数将有助于我们写出优秀的pythonic(优雅的、地道的、整洁的)代码,同时因为Python语言的特性,我们在进行框架设计的时候除了设计模式等高级技能,魔法函数是必须使用的,因此学习好魔法函数是Python语言进阶的必经之路。下面我们就为大家介绍Python里的常用魔法函数。
星星在线
2021-01-04
7720
kubernetes ConfigMap使用详解
在应用部署时,配置文件几乎是绕不开的,通常我们是把配置文件放置在指定目录下,通过配置文件使应用修改的灵活性更高。但是如果我们把应用打包成容器镜像后,容器内的镜像文件就不容易修改了,一般我们会采用以下方式修改容器中的配置文件:
星星在线
2020-11-19
1.7K0
实战|手把手教你用Python爬取存储数据,还能自动在Excel中可视化!
大家好,在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序,很多本文将迎合热点,延续上次的NBA爬虫GUI,探讨如何爬取虎扑NBA官网数据。 并且将数据写入Excel中同时自动生成折线图,主要有以下几个步骤
星星在线
2020-11-19
1.5K0
kubernetes 采用 Ingress 发布服务
我们要将kubernetes集群内的服务发布到集群外使用,之前使用的方法都是 NodePort、LoadBalancer的 Service,或者是给 Service 配置 ExternalIP,也可以通过 Pod 的 HostPort 进行配置。但是这些方式都存在一些问题,几乎都是通过节点端口的形式向外暴露服务的,了解 Service 的人应该知道,通过 Service 向外暴露端口,实际是在集群中的所有节点上监听同一个端口,如果 Service 非常多,那每个节点上开启的端口就会变得很多,这样维护起来很复杂,而且也非常不安全。
星星在线
2020-11-11
9470
kubernetes的基本单位Pod详解
Pod 是 kubernetes 中的基本单位,容器本身不会直接分配到主机上,而是会封装到 Pod 对象中。一个 Pod 通常表示单个应用程序,有一个或者多个相关的容器组成,这些容器的生命周期都是相同的,而且会作为一个整体在同一个 node 上调度起来,这些容器共享环境、存储卷和 IP 控件。尽管 Pod 中可能存在多个容器,但是在 kubernetes 中是以 Pod 为最小单位进行调度、伸缩并共享资源、管理生命周期。
星星在线
2020-11-03
1.1K0
详解kubeadm安装k8s集群常见问题
因为kubeadm需要用到容器,这些镜像都是k8s.gcr网站,因为众所周知的原因,国内是访问不到的,所以无法创建成功。,从其他地方下载。我在docker hub上发现了kubernetes的同步库gotok8s,应该是官方同步过来了,更新比较及时,版本也相互对应,配置好加速器下载也非常快。如果对应版本的库不存在,就找版本相近的(kube开头的几个库版本要相同),在安装的时候指定好对应的版本。
星星在线
2020-10-23
1.3K0
Jenkins配置SSH Key下载代码
在写这篇文章之前,我一直使用用户名和密码方式进行各种操作,因为比较方便省心,但是在使用的过程中,偶尔会出现异常问题,导致Git下载失败,所以建议大家都使用ssh key方式更新代码。
星星在线
2020-10-23
1.8K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档