前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用docker封装古董web.py+postgresql应用

使用docker封装古董web.py+postgresql应用

作者头像
fanzhh
发布2019-08-20 11:34:50
1.6K0
发布2019-08-20 11:34:50
举报
文章被收录于专栏:fanzhh的技术笔记

title: 使用docker封装古董python web.py + postgresql应用 author: fanzhh category: - 技术笔记 tag: - docker - web.py - python - postgresql date: 2019-07-24 15:50


So,6年之前使用python2web.py框架+postgresql搭建的项目,今年年初起停止使用,但偶尔地又需要访问一下数据。大家都知道搭建项目环境多么难,在这台电脑上运行得好好的,换台电脑出现各种错误。近期开始学习docker,相见恨晚哪。于是有了这篇边学习边实践的笔记。

web.py项目

requirements.txt文件

主程序名称为index.py,运行中需使用3个包,pip freeze > requirements.txt,内容如下:

代码语言:javascript
复制
psycopg2==2.8.3
pygal==2.4.0
web.py==0.39

Dockerfile文件

web.py项目目录下新建Dockerfile文件,内容如下:

代码语言:javascript
复制
FROM python:2.7

COPY requirements.txt /code/
WORKDIR /code/
RUN pip install -r requirements.txt

COPY . /code/

ENTRYPOINT ["python"]
CMD ["index.py"]

第1行FROM python:2.7,指明使用python:2.7镜像。 第2行拷贝requirements.txt文件到Docker的/code/目录。 第3行指明/code/为工作目录。 第4行在docker中安装需要的包。 第5行拷贝当前目录下所有文件到docker工作目录中。 第6行、第7行指明启动python index.py

建立image

web.py项目目录下,输入(jifdaypk_mini是image名称):

代码语言:javascript
复制
$ docker build -t jifdaypk_mini:latest .

会有一系列输出,最后出现这个,说明创建成功:

代码语言:javascript
复制
Successfully tagged jifdaypk_mini:latest

执行docker image ls,应该能够看到刚刚创建的image了。

运行容器

输入:

代码语言:javascript
复制
$ docker run -p 8080:8080 jifdaypk_mini

回车,打开浏览器输入:localhost:8080,浏览器出现internal server error提示。看命令行,出现一大坨错误,其中一行内容是:

代码语言:javascript
复制
OperationalError: could not connect to server: No such file or directory
    Is the server running locally and accepting
    connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?

这就对了,因为我还没有配置postgresql嘛。

配置postgres

拉取postgres

因为我使用postgres的版本为9.5,所以拉取:

代码语言:javascript
复制
$ docker pull postgre:9.5

命令之后成功后,使用docker image ls,应该可以看到postgres:9.5的镜像了。

执行postgres容器

命令行输入:

代码语言:javascript
复制
$ docker run postgres:9.5

一大坨输出之后,出现PostgreSQL init process complete; ready for start up.说明容器运行成功,Ctrl+C退出。

导入数据

原来项目中的数据需要导入postgres中,原导出的格式为pd_dump生成的sql文件。

前提

要在本机和docker容器之间传输文件,需明白3个前提:

  1. 每个docker容器都有自己的卷(volumes),将它们想象为你本机的磁盘就好。
  2. 可以在本机上执行容器中的命令,格式为:`docker exec <容器名字> <你的命令>。
  3. 当你打算在容器中运行操作具体文件的命令,这些文件应该在容器自身的卷(volumes)中。
找到运行postgres实例的容器名字
代码语言:javascript
复制
$ docker ps

190723_docker_ps_postgres.png

找到这个容器中的卷
代码语言:javascript
复制
$ docker inspect -f '{{ json .Mounts }}' <容器id> | python -m json.tool

结果:

代码语言:javascript
复制
[
    {
        "Type": "volume",
        "Name": "a515c798849fd4e2e79a24ce16dc0d",
        "Source": "/mnt/docker-data/volumes/a51fd60a2c9a10438849fd4e2e79a24ce16dc0d/_data",
        "Destination": "/var/lib/postgresql/data",
        "Driver": "local",
        "Mode": "",
        "RW": true,
        "Propagation": ""
    }
]

那么,/var/lib/postgresql/data便是我们要找的卷路径。

拷贝备份文件到卷上

于是我运行:

代码语言:javascript
复制
$ docker cp 2019_07_22_16_11.sql <容器id>:/var/lib/postgresql/data/
创建用户和数据库

创建用户:

代码语言:javascript
复制
$ docker exec -it <容器id> psql -U postgres -c "create user user1 with password '123456';"

创建数据库:

代码语言:javascript
复制
$ docker exec -it <容器id> psql -U postgres -c "create database mydb with owner 'fanzhh' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;"
导入数据

按照google的教程,应该将备份文件拷贝到卷中后导入,其实不拷贝备份文件,以下方式也可导入。

代码语言:javascript
复制
$ cat 2019_07_22_16_11.sql | docker exec -i aa06d5a52006 psql -U user1 -d mydb

试一下看看导入成功没:

代码语言:javascript
复制
$ docker exec -it <容器id> psql -U user1 -d mydb -c "select id,check_date from checkrecord limit 1;"
 id  | check_date 
-----+------------
 158 | 2013-06-20
(1 row)

可以说非常OK了。

使用docker-compose多容器协作

虽然上一步导入数据到postgres了,但不要高兴太早,结束容器再重启之后,数据消失无影了。因为容器是动态存在的,kill之后,容器内的一切数据不再存在。若要永久保存,需要将容器的volume映射到本地。以上分别建立的image之间并没什么关系,现在要用到docker-compose神器,部署多容器之间协作了。

docker-compose文件

web.py项目目录下新建docker-compose文件:

代码语言:javascript
复制
version: '2'

services:
  db:
    image: postgres:9.5
    container_name: postgres_ypk
    restart: always
    environment:
        - POSTGRES_USER=${POSTGRES_USER}
        - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
        - POSTGRES_DB=${POSTGRES_DB}
    volumes:
        - ./postgres-data/postgres:/var/lib/postgresql/data
    ports:
        - "5432:5432"

  web:
    build: .
    entrypoint: ["python", "index.py"]
    restart: always
    volumes:
      - .:/code
    ports:
      - "8080:8080"
    depends_on:
      - db

dbvolumes将本地文件夹映射至容器卷中,实现数据永久保存。注意dbenvironment的内容,在相同目录下新建.env文件存放环境变量:

代码语言:javascript
复制
POSTGRES_USER=user1
POSTGRES_PASSWORD=123456
POSTGRES_DB=mydb

docker-compose建立和运行

输入以下命令建立docker-compose

代码语言:javascript
复制
$ docker-compose build

输入以下命令运行docker-compose

代码语言:javascript
复制
$ docker-compose up

会出现一坨结果,大意是说dbweb分别启动了。

再次导入数据

我们访问数据库容器:

代码语言:javascript
复制
$ docker exec -ti <容器id> bash

进入容器操作界面,输入:

代码语言:javascript
复制
$ psql -U user1 mydb

进入数据库界面,输入:

代码语言:javascript
复制
mydb=# create database mydb2 with owner 'user1' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;

建立数据库。为什么不直接用mydb?因为数据库内容有中文,新建数据库指定utf8放心。 退出数据库界面,退出容器界面,输入:

代码语言:javascript
复制
$ cat 2019_07_22_16_11.sql | docker exec -i <容器id> psql -U user1 -d mydb2

导入数据。关掉docker-compose,重启,再次访问数据库,数据依然在,OK。

但现在, 浏览器访问localhost:8080依然显示internal server error。不慌,慢慢解决。

明明postgres容器已经启动,在本地使用psql -h localhost -U user1 -d mydb可以访问数据,但localhost:8080页面始终无法访问,后台显示错误:

代码语言:javascript
复制
could not connect to server: Cannot assign requested address
web_1  |    Is the server running on host "localhost" (::1) and accepting
web_1  |    TCP/IP connections on port 5432?

(1天时间过去了。。。)

终于在这个地方发现问题所在,我原来的连接参数为:

代码语言:javascript
复制
db=web.database(
    dbn='postgres',
    host='localhost',
    db='ypkdb2',
    user='fanzhh',
    password='56805696',
    port='5432'
)

修改host内容,将localhost改为容器名字,问题解决!

python镜像安装app

应用中需要用到abiword,镜像默认没有安装这个应用,报错,于是:

代码语言:javascript
复制
docker exec -it 4351e2d268de apt-get update
docker exec -it 4351e2d268de apt-get install abiword

OK。

上传镜像

我使用的滴滴云容器服务器,先登陆:

代码语言:javascript
复制
docker login --username=<仓库用户名> hub.didiyun.com

输入密码。

将公共镜像改为似有镜像:

代码语言:javascript
复制
docker tag [镜像名称:Tag]或[镜像ID] hub.didiyun.com/[命名空间]/[仓库名称]:[版本号(Tag)]

推送标志好的镜像到镜像仓库:

代码语言:javascript
复制
docker push hub.didiyun.com/[命名空间]/[仓库名称]:[版本号(Tag)]

参考

  1. How to Restore Database Dumps for Postgres in Docker Container
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019.07.24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • web.py项目
    • requirements.txt文件
      • Dockerfile文件
        • 建立image
          • 运行容器
          • 配置postgres
            • 拉取postgres
              • 执行postgres容器
                • 导入数据
                  • 前提
                  • 找到运行postgres实例的容器名字
                  • 找到这个容器中的卷
                  • 拷贝备份文件到卷上
                  • 创建用户和数据库
                  • 导入数据
              • 使用docker-compose多容器协作
                • docker-compose文件
                  • docker-compose建立和运行
                    • 再次导入数据
                      • python镜像安装app
                      • 上传镜像
                      • 参考
                      相关产品与服务
                      容器服务
                      腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
                      领券
                      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档