学习
实践
活动
工具
TVP
写文章

FAQ系列之CDSW

提供有关 CDSW 的软件和硬件要求的信息。 cdsw logs 将生成的包附加到您创建的支持案例。 注册Cloudera 社区论坛并在Cloudera 数据科学工作台板上发布您的问题或反馈。 原文链接:https://docs.cloudera.com/cdsw/1.9.2/faq/topics/cdsw-faq.html

38020

CDSW1.4的新功能

,以下我们具体看看CDSW1.4的新功能。 1.CDSW1.4的新功能 ---- 1.模型和实验 - CDSW1.4优化了模型开发到投产的过程。现在,你可以使用CDSW在统一的工作流里创建,训练和部署模型。 Cloudera Bug: DSE-3835 3.CDSW1.4已知的问题和限制 3.1.CDH集成 ---- CDH客户端配置修改需要完整重置CDSW CDSW无法自动检测CDH集群上的配置更改。 或者 RPM部署 - 在CDSW的master节点上执行以下命令: cdsw reset cdsw init (可左右滑动) 启用lineage collection后Spark2.3作业失败 Spark2.3 但对于CDSW来说,使用cdsw logs命令收集指标和日志可能需要3分钟以上。

36130
  • 广告
    关闭

    年末·限时回馈

    热卖云产品年终特惠,2核2G轻量应用服务器6.58元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    CDSW1.2的新功能

    CDSW1.2在美国时间10月20日正式发布,以下我们具体看看新功能。 1.CDSW1.2的新功能 ---- 1.CDSW现在正式成为Cloudera Manager管理的服务之一,可以直接通过Parcel安装。 Cloudera Manager通过CSD(Custom Service Descriptor)来管理CDSW。你可以通过Cloudera Manager安装,升级和监控CDSW。 主节点现在将会自动检测加入或离开CDSW的工作节点的IP地址。 #cdsw_cli_reference 6.CDSW的基础Docker镜像中现在包括了Kudu Python客户端。

    3K70

    如何在CDSW上运行TensorFlow

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 前面Fayson也介绍了CDSW的安装及CDSW 使用的一些知识,本篇文章主要介绍如何在CDSW平台上运行一个TensorFlow的示例,在学习本章知识前,你需要知道以下知识: 《如何在Windows Server2008搭建DNS服务并配置泛域名解析 》 《如何利用Dnsmasq构建小型集群的本地DNS服务器》 《如何在Windows Server2012搭建DNS服务并配置泛域名解析》 《如何在CDH5.13中安装CDSW1.2》 《如何基于CDSW 基础镜像定制Docker》 《如何在CDSW中使用R绘制直方图》 《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》 内容概述 1.下载示例代码及创建TensorFlow工程 2 /suchangfeng/tensorflow-tutorial 3.创建TensorFlow示例工程 1.登录CDSW服务,点击创建工程 2.输入工程名称,选择本地代码上传 3.上传完成,点击“

    63790

    CDSW1.3的新功能

    4.因为Cloudera Manager默认可以管理CDSW服务,在CDSW1.3中,将CDSW的服务的配置项“Wildcard DNS Domain”改名为“Cloudera Data Science 2.CDSW1.3修复的问题 ---- 1.修复了cdsw status命令无法运行所有必需的系统检查的问题。 Cloudera Bug: DSE-2937 3.CDSW1.3的不兼容性改动 3.1.使用Cloudera Director 2.7部署CDSW ---- 虽然这个不是CDSW的改动,您应该注意到,Cloudera 但对于CDSW来说,使用cdsw logs命令收集指标和日志可能需要3分钟以上。 该问题影响的版本:CDSW1.2.x,1.3.0 解决办法:使用以下办法修改CDSW数据收集的默认时间 登录到CM 进入CDSW服务 点击“配置” 搜索“Docker Daemon Diagnostics

    69960

    如何在CDSW上运行TensorFlow

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson也介绍了CDSW的安装及 CDSW使用的一些知识,本篇文章主要介绍如何在CDSW平台上运行一个TensorFlow的示例,在学习本章知识前,你需要知道以下知识: 《如何在Windows Server2008搭建DNS服务并配置泛域名解析 》 《如何利用Dnsmasq构建小型集群的本地DNS服务器》 《如何在Windows Server2012搭建DNS服务并配置泛域名解析》 《如何在CDH5.13中安装CDSW1.2》 《如何基于CDSW 基础镜像定制Docker》 《如何在CDSW中使用R绘制直方图》 《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》 内容概述 1.下载示例代码及创建TensorFlow工程 2 /suchangfeng/tensorflow-tutorial [tbywt7lod3.jpeg] 3.创建TensorFlow示例工程 ---- 1.登录CDSW服务,点击创建工程 [8hugo7bsr6

    60540

    如何修改CDSW会话的时区

    CDSW中启动的会话默认时区为UTC,与我们的时区不一致影响使用。 本篇文章Fayson主要介绍如何为CDSW的会话设置时区。 测试版本 1.CDSW1.4 2.显现重现 ---- 1.在CDSW中启动一个会话通过代码终端输出日期与服务器时间对比 ? 3.设置CDSW会话时区 ---- CDSW会话时区的设置,可以通过两种方式设置,一种设置全局的,另一种是针对当前的Project进行设置。 在当前CDSW1.4测试版本中全局的设置不能生效需要升级到CDSW1.4.2解决。如下配置还是将两种配置方式都讲一下: 全局配置 1.使用管理员账号登录CDSW平台,进入Admin菜单页面 ? 5.总结 ---- 在CDSW1.4版本之前通过全局的方式设置环境变量不会在所有的会话生效,需要将CDSW版本升级至1.4.2。在未升级前可以通过在对于的Project中进行环境变量配置。

    39730

    如何基于CDSW基础镜像定制Docker

    本文档主要讲述如何基于CDSW基础镜像定制我们自己的Docker镜像。 内容概述 1.安装前准备 2.查找CDSW基础镜像 3.定制Docker镜像 4.自定义镜像使用 测试环境 1.操作系统:RedHat7.2 2.采用sudo权限的ec2-user用户操作 3.CDSW 版本1.1.1 2.查看CDSW基础镜像 ---- 登录CDSW平台查看使用的基础镜像名称 [kj51xhr32s.jpeg] 点击“Engines” [l78lhbvflr.jpeg] 上图标注部分即为 CDSW的基础镜像(docker.repository.cloudera/cdsw/engine:2)由Docker的Repository和Tag组成。 /cdsw/engine:2并登录成功。

    96760

    0544-CDSW1.5的新功能

    1.5的主要更新是C6中终于可以使用CDSW了,另外HDP2.6.5和HDP3.1中也可以使用CDSW。 检查DNS正向和反向查找是否适用于所提供的CDSW域和Master IP地址。 cdsw status和cdsw validate命令的错误信息显示会更友好,以便于调试。 7.命令行 cdsw logs - 以前,cdsw logs命令生成两个日志包 - 一个是纯文本,另一个对敏感信息进行了脱敏。 因此,为CDSW配置的通配符DNS主机名必须能被CDSW集群和浏览器解析。 CDSW现在可以在安装过程中启用IPv4转发(net.ipv4.conf.default.forwarding)。 如果要自定义parcel目录,需要在master和worker节点的cdsw.conf文件中配置DISTRO_DIR属性。更改后运行cdsw restart。

    55630

    如何在CDSW中定制Docker镜像

    (Cloudera Data Science WorkBench)的安装及示例代码的运行,在《如何基于CDSW基础镜像定制Docker》中已经介绍了Docker镜像的定制,在这里我们基于CDSW1.2.2 》 《如何在CDSW中使用R绘制直方图》 《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》 内容概述 1.配置Python和R的私有源地址 2.预装Python和R的依赖包 3 ---- 1.使用管理员登录CDSW查看当前使用的Docker镜像 [h1xu5zm38k.jpeg] 可以看到当前使用的镜像为docker.repository.cloudera.com/cdsw/ ] 3.通过如下命令使用docker.repository.cloudera.com/cdsw/engine:4镜像启动一个容器 [root@cdsw1 ~]<20180123 15:06:30># docker 2.保存配置文件,测试私有源是否正常 root@cdsw1:/home/cdsw# pip install bit-array (可左右滑动) [dnfiy5egxf.jpeg] 从上面安装bit-array

    77190

    如何在CDSW上创建Git工程

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDSW上有多中创建工程的方式(创建一个空的工程 、模板工程、本地上传工程或者是创建git工程),前面的都比较好理解,那如何在CDSW上创建Git工程呢? 内容概述 1.CDSW的SSH Keys说明及查找 2.Git配置SSH Keys 3.测试 测试环境 1.CM和CDH版本为5.13.1 2.CDSW版本为1.2 2.CDSW的SSH keys -- 那么CDSW提供的秘钥在哪里可以找到呢? 3.点击“Create Project” [2n4kuux828.jpeg] 可以看到admin用户能够成功的从Git上将工程Clone到CDSW中。

    71930

    0737-1.6.1-CDSW分布式计算

    Python示例 Python分布式运算基本语法 import cdsw workers=cdsw.launch_workers(n=2,cpu=0.2,memory=0.5,code="print(' list_workers cdsw.list_workers() ? stop_worker cdsw.stop_workers() ? # master.py import cdsw, socket # Launch two CDSW workers. # master.r library("cdsw") # Launch two CDSW workers. # worker.r print(Sys.getenv("CDSW_MASTER_IP")) con <- socketConnection(host=Sys.getenv("CDSW_MASTER_IP

    31710

    0806-6.2.0-如何停止CDSW的Session

    文档编写目的 在CDSW中,启动一个Session后,任务执行完毕了,Session不会立刻停止。导致占用的资源不会被释放。 测试环境 1.Redhat7.2 2.采用root用户操作 3.CM/CDH6.2.0 4.CDSW版本1.5 测试步骤 2.1删除运行中任务的引擎模板测试 如下图所示在CDSW中配置了两个Engine 总结 1.将CDSW中配置的Engine模板删除时,不影响已经运行的Session并且运行的会话不会因为模板的删除而导致资源降低。

    28530

    0584-5.16.1-如何卸载CDSW1.5

    测试环境 1.CM和CDH版本为5.16.1 2.CDSW1.5 3.集群已启用Kerberos 4.RedHat7.4 2 卸载说明 在CDSW1.4.2之前,停止或重启CDSW服务,都可能导致CDSW 1.下载cdsw_protect_stop_restart.sh到CDSW Master节点,该脚本主要会帮你备份CDSW的项目数据。 [root@cdsw ~]# cat cdsw_protect_stop_restart.sh ? 3.在Master节点上备份/var/lib/cdsw目录 [root@cdsw ~]# tar cvzf cdsw.tar.gz /var/lib/cdsw/* ? 备份完毕。 5.回到CDSW的Master节点,删除/var/lib/cdsw目录 [root@cdsw ~]# rm -rf /var/lib/cdsw 6.系统还残留一些docker的剩余信息,重启服务器清除。

    36230

    后台查找CDSW中用户的审计日志

    安装以及使用的文章,对于CDSW平台服务的架构Fayson的理解是有多个Docker提供服务(类似于现在的微服务),这些服务组合起来形成了一个完整的CDSW平台。 CDSW的界面管理员可以看到用户访问的审计日志,CDSW未提供审计日志导出的功能,那么如何获取CDSW的审计日志? 本篇文章Fayson主要介绍如何通过后台获取审计日志,在CDSW界面上看到的信息如下: ? ---- 在文章的开头Fayson也说了CDSW是由多个Docker提供服务,组成的一个完成的平台,在CDSW中数据的存储使用到的是Postgresql数据库,该数据库也独立运行在一个Docker容器中 4.总结 ---- 1.CDSW服务的数据库使用的是Postgresql 2.CDSW中各个服务是由独立的Docker容器提供 提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,

    38720

    0739-CDSW本地数据目录权限问题

    问题解决 使用命令添加cdsw用户,指定uid为8536 useradd cdsw -uid 8536 ? 可以看到此时该目录的属主已经变成了cdsw。 ? 总结 当安装CDSW后,所有的工程的目录属主皆为cdsw;而cdsw用户在docker里存在,在本地主机上不存在,所以造成存在本地的目录的属主为8536;解决该问题的方法是使用useradd添加用户cdsw

    32730

    如何修改CDSW服务的DNS和HOSTNAME

    内容概述 1.修改HOSTNAME及DNS地址 2.修改CDSW服务的Domain配置 3.验证CDSW服务是否正常 测试环境 1.RedHat7.2 2.CDSW1.2.2 2.测试环境描述 ---- :172.18.3.49/50 CDSW服务器地址:172.18.4.41 新域名:cdsw.cmf-int-dc.com 3.修改CDSW服务器的HOSTNAME及DNS地址 ---- 1.使用如下命令修改 ] 4.修改CDSW服务的Wildcard DNS Domain ---- 1.使用管理员登录Cloudera Manager的Web控制台,进入CDSW服务 将CDSW DNS Domain修改为cdsw.cmf-int-dc.com 域名修改为如下图所示 [1grwdm22mq.jpeg] 保存配置,回到CM主界面根据提示重启CDSW服务,等待CDSW服务重启成功。 该文章中修改CDSW服务的HOSTNAME,仅限于CDSW1.2.x及以后版本且基于Parcel方式安装的CDSW

    94750

    本次更新包括集成CDSW1.3

    目前互联网大量web的应用层协议从http迁移到了https,https已经在越来越多的场合替换http协议。近期由于业务需要,我们通过Wireshark对ht...

    31500

    CDSW1.4的Experiments功能使用

    Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson介绍了关于《CDSW1.4 的新功能》及《Hadoop之上的模型训练 - CDSW1.4新功能模块》,本篇文章Fayson主要介绍CDSW1.4版本中新增的Experiments功能及使用。 功能使用 ---- 在CDSW中快速的运行一个Experiment,步骤如下: 1.登录CDSW平台创建一个Python模板的工程 ? 2.打开WorkBench,在工程中创建一个add.py文件,内容如下: import sys import cdsw args = len(sys.argv) - 1 sum = 0 x = 1 6.在CDSW库中包含了一些内置的函数,可用于比较试验运行结果并保存试验中的任何文件 可以在add.py脚本的默认增加如下内容,记录试验运行结果 cdsw.track_metric("Sum", sum

    24730

    如何在CDSW中使用R绘制直方图

    1.文档编写目的 ---- Cloudera的新产品CDSW(Cloudera Data Science Workbench)集成了R、Scala、Python2、Python3等语言进行统计和数据分析 本文档主要讲述如何在CDSW中使用R语言绘制直方图和饼图,并使用Hive数仓作为数据源。 内容概述 1.创建R工程 2.工程启动及示例运行 3.R直方图示例代码 4.R饼图示例代码 测试环境 1.CM和CDH版本为5.11.2 2.RedHat7.2 3.CDSW1.1.1 前置条件 1.CDH 集群正常 2.Impala/Hive中已有TPC_DS相应的表和数据 3.CDSW安装且正常运行 2.创建R工程 ---- 1.登录CDSW平台 [xiw46ji311.jpeg] 2.点击“New Project

    2K100

    扫码关注腾讯云开发者

    领取腾讯云代金券