腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

进击的Coder

专栏作者

552

文章

1250326

阅读量

199

订阅数

Docker 的第二次死亡

kubernetes 开源容器镜像服务容器

我清楚地看到了 Go 和 Docker 这两种技术的生态圈发展过程。让我收获最大的并不是这些技术本身，而是技术的变迁和行业的发展。从中，我看到了非常具体的各种思潮和思路，这些更有价值...... 这些关键新技术，可以让你拿到技术的先机。这些对一个需要技术领导力的个人或公司来说都是非常重要的。

2020-12-31

9840

原创丨如何大幅提高 Django 网站加载速度

django 容器镜像服务 https 网络安全爬虫

之前做了个爬虫案例平台，https://scrape.center/，具体文章在原创丨发布一个爬虫案例平台，帮助爬虫初学者进行练手。

2020-10-30

7270

如何实现本地代码和远程的实时同步

ide 容器镜像服务 ssh

我们知道在国内使用 Docker，无论是 Pull、Build 还是 Push 镜像都十分慢，因为毕竟很多源都是国外的源，下载和上传慢是必然的现象。

2020-03-31

4.5K0

从项目实际问题引发的思考

http nginx 网站 https 容器镜像服务

现在有一个 Web 项目，前端是使用 Vue.js 开发的，整个前端需要部署到 K8S 上，后端和前端分开，同样也需要部署到 K8S 上，因此二者需要打包为 Docker 镜像。

2019-12-11

4840

GitHub Actions，卧槽！牛批！

容器镜像服务 python github

前段时间我更新了我的分布式爬虫管理框架—— Gerapy（话都说到这儿了打个广告，跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！，哇，哇，就是，哇！）

2019-12-11

1.2K0

爬虫代理大厂都封得差不多了，了解下商业级 4G 代理搭建方法吧！

容器镜像服务容器 tcp/ip 命令行工具 dns

从这篇文章的标题中我们可以看出，这一次的搭建方案主要用到的是 Docker，你可能会很好奇，Docker 跟搭建 4G 代理有什么关系吗？

2019-09-19

3.4K0

万字长文：编写 Dockerfiles 最佳实践

缓存 http apt-get 容器镜像服务

Docker通过读取Dockerfile中的指令自动构建镜像，一个文本文件包含构建镜像的所有指令。Dockerfile遵循特定的格式和指令集，您可以在Dockerfile中引用它们。

2019-08-20

1.9K0

学会用 Docker 部署深度学习环境

容器容器镜像服务 apt-get 编程算法

很多小伙伴都踩过配 caffe 的坑，学会使用 docker 之后，不再需要自己配环境了，下面详细介绍下 docker 的使用方法。

2019-05-06

1.2K0

分布式爬虫的部署之Scrapyd对接Docker

分布式爬虫 scrapy 容器镜像服务

我们使用了Scrapyd-Client成功将Scrapy项目部署到Scrapyd运行，前提是需要提前在服务器上安装好Scrapyd并运行Scrapyd服务，而这个过程比较麻烦。如果同时将一个Scrapy项目部署到100台服务器上，我们需要手动配置每台服务器的Python环境，更改Scrapyd配置吗？如果这些服务器的Python环境是不同版本，同时还运行其他的项目，而版本冲突又会造成不必要的麻烦。所以，我们需要解决一个痛点，那就是Python环境配置问题和版本冲突解决问题。如果我们将Scrapyd直接打

2018-06-25

1.8K0

分布式爬虫的部署之Scrapyd批量部署

分布式爬虫 scrapy 容器镜像服务 python

我们在上一节实现了Scrapyd和Docker的对接，这样每台主机就不用再安装Python环境和安装Scrapyd了，直接执行一句Docker命令运行Scrapyd服务即可。但是这种做法有个前提，那就是每台主机都安装Docker，然后再去运行Scrapyd服务。如果我们需要部署10台主机的话，工作量确实不小。一种方案是，一台主机已经安装好各种开发环境，我们取到它的镜像，然后用镜像来批量复制多台主机，批量部署就可以轻松实现了。另一种方案是，我们在新建主机的时候直接指定一个运行脚本，脚本里写好配置各种环

2018-06-25

9020

Scrapy对接Docker

scrapy 容器镜像服务爬虫

环境配置问题可能一直会让我们头疼，包括如下几种情况。我们在本地写好了一个Scrapy爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装Python环境。其他人给了我们一个Scrapy爬虫项目，项目使用包的版本和本地环境版本不一致，项目无法直接运行。我们需要同时管理不同版本的Scrapy项目，如早期的项目依赖于Scrapy 0.25，现在的项目依赖于Scrapy 1.4.0。在这些情况下，我们需要解决的就是环境的安装配置、环境的版本冲突解决等问题。对于Python来说，VirtualEnv

2018-06-25

1.6K0

Splash压力过大？来试试负载均衡吧！

容器镜像服务 nginx

用Splash做页面抓取时，如果爬取的量非常大，任务非常多，用一个Splash服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个Splash服务的压力。 1. 配置Splash服务要搭建Splash负载均衡，首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务，它们的服务地址分别为41.159.27.223:8050、41.159.27.221:8050、41.159

2018-06-25

7920

Docker 微服务教程

容器镜像服务微服务容器数据库

Docker 是一个容器工具，提供虚拟环境。很多人认为，它改变了我们对软件的认识。站在 Docker 的角度，软件就是容器的组合：业务逻辑容器、数据库容器、储存容器、队列容器......Docke

2018-06-25

1.1K0

Nginx 容器教程

nginx 容器容器镜像服务

春节前，我看到 Nginx 加入了 HTTP/2 的 server push 功能，就很想试一下。正好这些天，我在学习 Docker，就想到可以用 Nginx 容器。万一哪里改乱了，直接删掉，再重

2018-06-25

8410

Docker 入门教程

容器镜像服务

2013年发布至今， Docker 一直广受瞩目，被认为可能会改变软件行业。但是，许多人并不清楚 Docker 到底是什么，要解决什么问题，好处又在哪里？本文就来详细解释，帮助大家理解它，还带有简

2018-06-25

6510

腾讯云上 Docker 的安装方式

容器镜像服务容器 linux

2017-05-19

16.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态