前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 创建HDFS文件夹

Python 创建HDFS文件夹

作者头像
week
发布2018-08-24 10:00:36
3K0
发布2018-08-24 10:00:36
举报
文章被收录于专栏:用户画像

直接上代码

代码语言:javascript
复制
#! /usr/bin/python2.7
# -*- coding: utf8 -*-
import os
import sys

reload(sys)
sys.setdefaultencoding("utf-8")
sys.path.append("../")
import datetime
from utils import confUtils


def hadoop_make_dir(hadoop_path, auth, src_path):
    cmd = '%s dfs %s -mkdir -p %s' % (hadoop_path, auth, src_path)
    print(cmd)
    return os.system(cmd)


class HDFSTask(object):
    cf = confUtils.getConfig("../conf/hadoop.conf")

    def __init__(self):
        self.hadoop_path = confUtils.getFilePath(self.cf, "SIM_USERS", "HADOOP_BIN_DIR")
        self.auth = confUtils.getFilePath(self.cf, "SIM_USERS", "AUTH")
        self.out_path = confUtils.getFilePath(self.cf, "SIM_USERS", "OUT_DIR")

    def run(self):
        tomorrow = datetime.datetime.now().strftime('%Y%m%d')
        dir_path = self.out_path + "/" + tomorrow
        hadoop_make_dir(self.hadoop_path, self.auth, dir_path)
        print("mkdir success")


if __name__ == '__main__':
    main_task = HDFSTask()
    try:
        main_task.run()
    except Exception as err:
        print(str(err))
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年08月01日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档