Tensorflow on HDFS 的实践
官方文档很重要~
1 Overview
本文主要参考 Tensorflow on Hadoop，在 TenC 弹性计算平台做一个 Tensorflow 读取 TenC HDFS 的例子。
- 安装 Java
- 安装 Hadoop
2 Practice
做法很简单，就是以 Tensorflow 的官方镜像作为 base 镜像，装好 Java 和 Hadoop 就可以开始测试了，给个参考的 Dockerfile。
FROM tensorflow/tensorflow:1.14.0-py3
RUN apt-get update -y && apt-get install openjdk-8-jdk -y
ADD hadoop-2.9.2.tar.gz /opt
COPY test.py .
ENV JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
ENV HADOOP_HDFS_HOME=/opt/hadoop-2.9.2
ENV HADOOP_HOME=/opt/hadoop-2.9.2
ENV LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:${JAVA_HOME}/jre/lib/amd64/server
CMD ["/bin/bash"]镜像里的 test.py 逻辑很简单，就是读出参数1的指定文件的内容并且打印。
import tensorflow as tf
import numpy as np
import sys
def main():
filename_queue = tf.train.string_input_producer([sys.argv[1]], num_epochs=1)
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)
with tf.Session() as sess:
sess.run(tf.initialize_local_variables())
tf.train.start_queue_runners()
num_examples = 0
try:
while True:
s_key, s_value = sess.run([key, value])
print( s_key, s_value)
num_examples += 1
except tf.errors.OutOfRangeError:
print ("There are", num_examples, "examples")
if __name__ == "__main__":
main()在机器上执行下面的命令。
docker build -t tf-hdfs:latest .在 TenC HDFS 上 put 一个文件 tf-hdfs.csv。容器内测试 Tensorflow 读取 HDFS。
CLASSPATH=$($HADOOP_HDFS_HOME/bin/hadoop classpath --glob) python test.py hdfs://app/persona/ieg/dm/runzhliu/tf-hdfs.csv
image_1e5gu0tfq1dli12031evq13a51has16.png-294.6kB
3 Summary
因为主要涉及到 Hadoop 的安装以及环境变量的配置，可以尽量将环境变量的设置写在 Dockerfile 里，这样比较清晰，而且如果几个相关的环境变量没有设置对的话，会容易出现各种问题了。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-04-10 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读