学习
实践
活动
专区
工具
TVP
写文章

腾讯开源angel初试

这里记录一下腾讯angel框架的初步体验。事实上其git上的文档中也有描述。

### 编译安装

环境依赖

- Jdk >= 1.8

- Maven >= 3.0.5

- Protobuf >= 2.5.0 (需与hadoop环境自带的protobuf版本保持一致)

- 如果要运行PyAngel,Python >=3.6

-

下载源码

git clone https://github.com/tencent/angel

编译

编译后(或者直接下载发布好的包)

- bin:Angel任务提交脚本

- conf:系统配置文件

- data:简单测试数据

- lib:Angel的jar包 & 依赖jar包

- python: Python相关脚本

-

### 依赖项的安装

- jdk8 网上随便搜搜

- protobuf-2.5.0。下载好后依次执行 ./configure && make && make install

-

在本地测试:

```shell

```

在yarn环境提交:

```shell

data_path=/data/lr_data

log_path=/data/lr_log

model_path=/data/lr_model

HADOOP_BIN=hadoop

hadoop fs -rmr $

hadoop fs -rmr $

JAVA_DIR="/home/java8"

export JDK=java8

export HADOOP_USER_NAME=hdp

echo "start"

./angel-submit \

--angel.app.submit.class com.tencent.angel.ml.core.graphsubmit.GraphRunner \

--action.type train \

--queue root.default \

echo "end"

```

如果集群环境不是jdk8的,可以按照文档中所述,指定jdk8的路径

在执行过程中,如果脚本报错,可以先看看是不是编码格式问题,先用dos2unix转换一下文件格式。

angel-submit 脚本可以直接查看,如果有的变量路径不对,或者配置项没有,可以自行补充。

当用yarn调度的时候,遇到Permission denied: user=yarn的错误,这和当前提交的用户不同,对提交用户的目录yarn用户没有写权限,因此执行失败

查找com/tencent/angel/utils/UGITools.class中代码,发现可以改angel的conf。

配置在angel-site.xml里面

```

hdp,hdp

```

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190103G1GER100?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券