Ryan-Miao

LV1
发表了文章

Airflow自定义插件, 使用datax抽数

Airflow之所以受欢迎的一个重要因素就是它的插件机制。Python成熟类库可以很方便的引入各种插件。在我们实际工作中,必然会遇到官方的一些插件不足够满足需求...

Ryan-Miao
Hive大数据PythonMySQL
发表了文章

认识Airflow的DAG

前文Airflow的第一个DAG已经跑起来了我们的第一个任务. 本文就来丰富这个任务.

Ryan-Miao
httpsApachePythonGitHub网络安全
发表了文章

调度系统Airflow的第一个DAG

考虑了很久,要不要记录airflow相关的东西, 应该怎么记录. 官方文档已经有比较详细的介绍了,还有各种博客,我需要有一份自己的笔记吗?

Ryan-Miao
任务调度
发表了文章

使用Makefile构建Docker

刚开始学习docker命令的时候,很喜欢一个字一个字敲,因为这样会记住命令。后来熟悉了之后,每次想要做一些操作的时候就不得不 重复的输入以前的命令。当切换一个...

Ryan-Miao
LinuxMakefileShell容器Docker
发表了文章

调度系统Airflow1.10.4调研与介绍和docker安装

随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案。

Ryan-Miao
Hive容器BashBash 指令任务调度
发表了文章

vim基础命令,查找和替换

vim简单的命令用着还好。比如插入,删除,查询。但替换就用的比较少。所以,还是需要用的时候拿出来对照者看。

Ryan-Miao
IDE
发表了文章

定时清理docker私服镜像

使用CI构建docker镜像进行发布极大促进了大家的版本发布效率,于是镜像仓库也就急速膨胀。为了缓解磁盘压力,我们需要设置一些清理策略。

Ryan-Miao
Docker容器
发表了文章

openldap介绍和使用

早期,公司是没有统一认证这个东西的,所以各自玩各自的。于是, confluence一个用户体系,gitlab一个用户体系,Jenkins一个用户体系等等, 开发...

Ryan-Miao
Docker容器https网络安全Linux
发表了文章

如何使用Python连接ldap

好多使用ldap认证的软件都是Python的,比如superset和airflow, 好吧,他们都是airbnb家的。在配置ldap的时候可能会出现认证失败,你...

Ryan-Miao
httpsDocker网络安全容器Python
发表了文章

给debian的docker容器添加crontab定时任务

Docker容器是不支持后台服务的,像systemctl service crontab这些后台运行的服务是不能通过

Ryan-Miao
Nginx容器DockerBash
发表了文章

docker挂载volume的用户权限问题,理解docker容器的uid

在刚开始使用docker volume挂载数据卷的时候,经常出现没有权限的问题。 这里通过遇到的问题来理解docker容器用户uid的使用,以及了解容器内外u...

Ryan-Miao
容器Node.jsDocker
发表了文章

Docker volume speed up npm install

上一节决定在Jenkins中采用Docker作为构建环境,于是就可以为所欲为的使用各种node版本编译我们的项目。解决了版本切换问题。然而,Docker设计的目...

Ryan-Miao
JenkinsDocker容器Node.jsnpm
发表了文章

如何挑选node docker镜像

由于可能编译的项目历史不同,所依赖的node版本也各有千秋,直接把所有项目都升级到最新的也不合理。所以必须针对不同的项目使用不同node构建环境。

Ryan-Miao
Node.jsDocker容器缓存
发表了文章

Ubuntu18.04下修改快捷键

Intelij Idea在Ubuntu下的快捷键几乎和windows差不多,最常用的一个快捷键与系统冲突:

Ryan-Miao
UbuntuLinuxIDE
发表了文章

switch的对象不能为null

虽然不多, 但几乎每次系统出问题的时候,看到api返回值是空的,绝大多数是NPE造成的。 这时候会感慨一下谁写的bug,然后去补判空代码。

Ryan-Miao
编程算法

个人简介

个人成就

  • 获得 2.2K 次赞同
  • 文章被阅读 129.5K 次

扫码关注云+社区

领取腾讯云代金券