clipper使用
大家好，又见面了，我是你们的朋友全栈君。
clipper是一个开源的低延时的预测系统，地址为http://clipper.ai/ ， 是加州大学伯克利分校RISE Lab开发并开源的，下面是使用过程中的一些笔记，特此记录。
一、clipper使用的redis库说明
enum RedisDBTable {
REDIS_STATE_DB_NUM = 1,
REDIS_MODEL_DB_NUM = 2,
REDIS_CONTAINER_DB_NUM = 3,
REDIS_RESOURCE_DB_NUM = 4,
REDIS_APPLICATION_DB_NUM = 5,
REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadata
REDIS_APP_MODEL_LINKS_DB_NUM = 7,
};redis库序号 | 名称 | 说明 | 数据类型 | key | value |
|---|---|---|---|---|---|
1 | REDIS_STATE_DB_NUM | 状态 | string | rec-keras-app-serving:0:0 | {\”y_hat\”:\”-1\”} |
2 | REDIS_MODEL_DB_NUM | 模型信息 | hash | rec-keras-mod-serving:1 | 1) “load” 2) “0.000000” 3) “container_name” 4) “hub.mfwdev.com/recommend/rec-serving-online-rec-keras-mod-serving:1“ 5) “input_type” 6) “strings” 7) “labels” 8) “” 9) “model_data_path” 10) “DEPRECATED” 11) “model_version” 12) “1” 13) “model_name” 14) “rec-keras-mod-serving” 15) “batch_size” 16) “1” 17) “valid” 18) “” |
3 | REDIS_CONTAINER_DB_NUM | 容器信息 | hash | rec-keras-mod-serving,1,0 | 1) “model_id” 2) “rec-keras-mod-serving:1” 3) “model_name” 4) “rec-keras-mod-serving” 5) “model_version” 6) “1” 7) “model_replica_id” 8) “0” 9) “zmq_connection_id” 10) “0” 11) “batch_size” 12) “1” 13) “input_type” 14) “strings” |
4 | REDIS_RESOURCE_DB_NUM | ||||
5 | REDIS_APPLICATION_DB_NUM | app信息 | hash | rec-keras-app-serving | 1) “input_type” 2) “strings” 3) “policy” 4) “DefaultOutputSelectionPolicy” 5) “default_output” 6) “-1” 7) “latency_slo_micros” 8) “1000000” |
6 | REDIS_METADATA_DB_NUM | meta信息 | string | CURRENT_MODEL_VERSION:rec-keras-mod-serving | 1 |
7 | REDIS_APP_MODEL_LINKS_DB_NUM | app&model连接信息 | set | rec-keras-app-serving | rec-keras-mod-serving |
二、clipper架构图
组件 | 作用 | 依赖项目 | 重要程度 |
|---|---|---|---|
clipper management | 提供HTTP 接口，供clipper admin调用；写入数据到redis中。 具体代码参考 management_frontend_main.cpp | redis db | |
prometheus monitoring | 存储需要监控的信息；别的应用通过api向prometheus提交数据 | query processor 和 model containeer 向prometheus汇报信息 | |
query processor | 请求入口，提供HTTP接口和RPC接口。采用redis 的PSUBSCRIBE，监控redis中的数据变更，来动态的修改APP、MODEL、APP和MODEL之间的关系； 同时汇报信息到prometheus | prometheus、model container | |
model container | model的容器，会根据query processor的地址，主动连接到query processor。并定期向query processor发送心跳 | prometheus |
query processor 和 model container之间，采用了ZeroMQ的方式来通讯。可以认为query processor侧，将用户的请求放入到ZeroMQ队列中，然后model container 是消费方，轮询的方式，从ZeroMQ队列取数据来消费， 并将结果返回到query processor中
三、ModelContainer监控部分说明
1、ModelContainer
在rpc.py中，通过 python -m clipper_admin.metrics.server 的方式，启动了单独的一个python进程。
在该python进程中，主要做了两件事情：
a、启动了一个redis-server，采用pub/sub的方式，来存储metric 信息
b、启动了一个http server，开启了1390端口，该端口是prometheus 拉取metric信息的接口。
2、model container中的metric信息，通过
import clipper_admin.metrics as metrics 的方式，调用 add_metric 和 report_metric ，这两个函数，都是把数据放入到了redis中。通过异步的方式，由1.b 里面的python程序来消费。
四、query-frontend部分监控说明
1、query-frontend 本身提供了 http://ip:1337/metrics 接口，来查询metrics信息
2、frontend-exporter 是一个python程序，里面利用了 prometheus_client 的python api，暴露了1390端口，请求1390端口的时候，会请求query-frontend的metrics接口把数据做个转换，然后露出。
五、query-frontend流程图
六、clipper github代码更新之后重新安装流程
clipper客户端安装在了10.1.4.171服务器
1、切换到root账号，切换目录
cd /root/clipper/clipper
2、拉取最新代码，确保是master分支
git pull
3、激活到py36环境
conda activate py36
4、卸载老的clipper_admin
pip uninstall clipper-admin
5、安装最新版本的clipper_admin
pip install git+file:///root/clipper/clipper#subdirectory=clipper_admin
七、query-frontend代码修改之后编译
登录10.163.1.131 机器
1、切换到root账号，切到目录
cd /root/clipper/clipper
2、执行docker build指令
docker build –build-arg CODE_VERSION=a66648a301 –build-arg REGISTRY=clipper -t query_frontend:develop -f dockerfiles/QueryFrontendDockerfile ./
3、打tag
docker tag query_frontend:develop hub.mfwdev.com/recommend/query_frontend:develop
4、push
docker push hub.mfwdev.com/recommend/query_frontend:develop
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/200680.html原文链接：https://javaforall.cn