专栏首页fanzhh的技术笔记使用docker封装古董web.py+postgresql应用

使用docker封装古董web.py+postgresql应用


title: 使用docker封装古董python web.py + postgresql应用 author: fanzhh category: - 技术笔记 tag: - docker - web.py - python - postgresql date: 2019-07-24 15:50


So,6年之前使用python2web.py框架+postgresql搭建的项目,今年年初起停止使用,但偶尔地又需要访问一下数据。大家都知道搭建项目环境多么难,在这台电脑上运行得好好的,换台电脑出现各种错误。近期开始学习docker,相见恨晚哪。于是有了这篇边学习边实践的笔记。

web.py项目

requirements.txt文件

主程序名称为index.py,运行中需使用3个包,pip freeze > requirements.txt,内容如下:

psycopg2==2.8.3
pygal==2.4.0
web.py==0.39

Dockerfile文件

web.py项目目录下新建Dockerfile文件,内容如下:

FROM python:2.7

COPY requirements.txt /code/
WORKDIR /code/
RUN pip install -r requirements.txt

COPY . /code/

ENTRYPOINT ["python"]
CMD ["index.py"]

第1行FROM python:2.7,指明使用python:2.7镜像。 第2行拷贝requirements.txt文件到Docker的/code/目录。 第3行指明/code/为工作目录。 第4行在docker中安装需要的包。 第5行拷贝当前目录下所有文件到docker工作目录中。 第6行、第7行指明启动python index.py

建立image

web.py项目目录下,输入(jifdaypk_mini是image名称):

$ docker build -t jifdaypk_mini:latest .

会有一系列输出,最后出现这个,说明创建成功:

Successfully tagged jifdaypk_mini:latest

执行docker image ls,应该能够看到刚刚创建的image了。

运行容器

输入:

$ docker run -p 8080:8080 jifdaypk_mini

回车,打开浏览器输入:localhost:8080,浏览器出现internal server error提示。看命令行,出现一大坨错误,其中一行内容是:

OperationalError: could not connect to server: No such file or directory
    Is the server running locally and accepting
    connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?

这就对了,因为我还没有配置postgresql嘛。

配置postgres

拉取postgres

因为我使用postgres的版本为9.5,所以拉取:

$ docker pull postgre:9.5

命令之后成功后,使用docker image ls,应该可以看到postgres:9.5的镜像了。

执行postgres容器

命令行输入:

$ docker run postgres:9.5

一大坨输出之后,出现PostgreSQL init process complete; ready for start up.说明容器运行成功,Ctrl+C退出。

导入数据

原来项目中的数据需要导入postgres中,原导出的格式为pd_dump生成的sql文件。

前提

要在本机和docker容器之间传输文件,需明白3个前提:

  1. 每个docker容器都有自己的卷(volumes),将它们想象为你本机的磁盘就好。
  2. 可以在本机上执行容器中的命令,格式为:`docker exec <容器名字> <你的命令>。
  3. 当你打算在容器中运行操作具体文件的命令,这些文件应该在容器自身的卷(volumes)中。

找到运行postgres实例的容器名字

$ docker ps

190723_docker_ps_postgres.png

找到这个容器中的卷

$ docker inspect -f '{{ json .Mounts }}' <容器id> | python -m json.tool

结果:

[
    {
        "Type": "volume",
        "Name": "a515c798849fd4e2e79a24ce16dc0d",
        "Source": "/mnt/docker-data/volumes/a51fd60a2c9a10438849fd4e2e79a24ce16dc0d/_data",
        "Destination": "/var/lib/postgresql/data",
        "Driver": "local",
        "Mode": "",
        "RW": true,
        "Propagation": ""
    }
]

那么,/var/lib/postgresql/data便是我们要找的卷路径。

拷贝备份文件到卷上

于是我运行:

$ docker cp 2019_07_22_16_11.sql <容器id>:/var/lib/postgresql/data/

创建用户和数据库

创建用户:

$ docker exec -it <容器id> psql -U postgres -c "create user user1 with password '123456';"

创建数据库:

$ docker exec -it <容器id> psql -U postgres -c "create database mydb with owner 'fanzhh' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;"

导入数据

按照google的教程,应该将备份文件拷贝到卷中后导入,其实不拷贝备份文件,以下方式也可导入。

$ cat 2019_07_22_16_11.sql | docker exec -i aa06d5a52006 psql -U user1 -d mydb

试一下看看导入成功没:

$ docker exec -it <容器id> psql -U user1 -d mydb -c "select id,check_date from checkrecord limit 1;"
 id  | check_date 
-----+------------
 158 | 2013-06-20
(1 row)

可以说非常OK了。

使用docker-compose多容器协作

虽然上一步导入数据到postgres了,但不要高兴太早,结束容器再重启之后,数据消失无影了。因为容器是动态存在的,kill之后,容器内的一切数据不再存在。若要永久保存,需要将容器的volume映射到本地。以上分别建立的image之间并没什么关系,现在要用到docker-compose神器,部署多容器之间协作了。

docker-compose文件

web.py项目目录下新建docker-compose文件:

version: '2'

services:
  db:
    image: postgres:9.5
    container_name: postgres_ypk
    restart: always
    environment:
        - POSTGRES_USER=${POSTGRES_USER}
        - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
        - POSTGRES_DB=${POSTGRES_DB}
    volumes:
        - ./postgres-data/postgres:/var/lib/postgresql/data
    ports:
        - "5432:5432"

  web:
    build: .
    entrypoint: ["python", "index.py"]
    restart: always
    volumes:
      - .:/code
    ports:
      - "8080:8080"
    depends_on:
      - db

dbvolumes将本地文件夹映射至容器卷中,实现数据永久保存。注意dbenvironment的内容,在相同目录下新建.env文件存放环境变量:

POSTGRES_USER=user1
POSTGRES_PASSWORD=123456
POSTGRES_DB=mydb

docker-compose建立和运行

输入以下命令建立docker-compose

$ docker-compose build

输入以下命令运行docker-compose

$ docker-compose up

会出现一坨结果,大意是说dbweb分别启动了。

再次导入数据

我们访问数据库容器:

$ docker exec -ti <容器id> bash

进入容器操作界面,输入:

$ psql -U user1 mydb

进入数据库界面,输入:

mydb=# create database mydb2 with owner 'user1' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;

建立数据库。为什么不直接用mydb?因为数据库内容有中文,新建数据库指定utf8放心。 退出数据库界面,退出容器界面,输入:

$ cat 2019_07_22_16_11.sql | docker exec -i <容器id> psql -U user1 -d mydb2

导入数据。关掉docker-compose,重启,再次访问数据库,数据依然在,OK。

但现在, 浏览器访问localhost:8080依然显示internal server error。不慌,慢慢解决。

明明postgres容器已经启动,在本地使用psql -h localhost -U user1 -d mydb可以访问数据,但localhost:8080页面始终无法访问,后台显示错误:

could not connect to server: Cannot assign requested address
web_1  |    Is the server running on host "localhost" (::1) and accepting
web_1  |    TCP/IP connections on port 5432?

(1天时间过去了。。。)

终于在这个地方发现问题所在,我原来的连接参数为:

db=web.database(
    dbn='postgres',
    host='localhost',
    db='ypkdb2',
    user='fanzhh',
    password='56805696',
    port='5432'
)

修改host内容,将localhost改为容器名字,问题解决!

python镜像安装app

应用中需要用到abiword,镜像默认没有安装这个应用,报错,于是:

docker exec -it 4351e2d268de apt-get update
docker exec -it 4351e2d268de apt-get install abiword

OK。

上传镜像

我使用的滴滴云容器服务器,先登陆:

docker login --username=<仓库用户名> hub.didiyun.com

输入密码。

将公共镜像改为似有镜像:

docker tag [镜像名称:Tag]或[镜像ID] hub.didiyun.com/[命名空间]/[仓库名称]:[版本号(Tag)]

推送标志好的镜像到镜像仓库:

docker push hub.didiyun.com/[命名空间]/[仓库名称]:[版本号(Tag)]

参考

  1. How to Restore Database Dumps for Postgres in Docker Container

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • hexo创建自定义about页

    然后修改所用主题目录下的_config.yml文件,将menu中about前的注释去掉。

    fanzhh
  • Keras 初学者教程:使用python了解深度学习

    我们将训练一个手写数字识别分类器,其在著名的MNIST数据集上将具有超过99%的准确率。

    fanzhh
  • 使用Sqlite3+Express.js+React实现在线答题(上)

    将word格式的题库转为txt格式,导入至sqlite3中,使用Express.js做服务端提供json格式数据,使用React做前端获取服务端数据。本文为第一...

    fanzhh
  • SDN实战团分享(三):Docker网络使用体验

    我今天和大家分享一下Docker的网络,主要是基于我的使用体验和对这里面的一些技术的理解,也顺便听取一下大家的建议。我是做培训的,大多数时候和理论的东西打交道,...

    SDNLAB
  • docker(网络)

    我们每启动一个docker容器,docker就会给docker容器分配一个ip,我们只要按照了docker,就会有一个docker0桥接模式,使用的技术是vet...

    崔笑颜
  • docker集群部署:第3部分:服务

    关于服务 在分布式应用程序中,应用程序的不同部分被称为“服务”。例如,一个视频共享站点,它可能包括一个用于将应用程序数据存储在数据库中的服务,后面的视频转码服务...

    py3study
  • Asp.net Core 使用Jenkins + Dockor 实现持续集成、自动化部署(二):部署

    Asp.Net Core 程序部署到Linux(centos)生产环境(一):普通部署

    乔达摩@嘿
  • docker学习(3) 容器的启动过程

    这一节我们来稍微了解下docker原理性的东西 docker run -i -t ubuntu /bin/bash 输入上面这行命令,启动一个ubuntu容器时...

    菩提树下的杨过
  • 安装docker

    查看版本 # uname -a Linux huawei 2.6.32-642.13.1.el6.x86_64 #1 SMP Wed Jan 11 20:56:...

    零月
  • docker 搭建LAMP开发环境

    小编作为一个小白,在搭建lamp这个集成开发环境上卡了有4/5天,遇到了不少坑,有时候令人绝望,有时候又让人兴奋。作为小白,学得不深,在这里把这段时间踩过的坑以...

    benny

扫码关注云+社区

领取腾讯云代金券