展开

关键词

首页关键词cdsw

cdsw

相关内容

  • CDSW1.3的新功能

    4.因为Cloudera Manager默认可以管理CDSW服务,在CDSW1.3中,将CDSW的服务的配置项“Wildcard DNS Domain”改名为“Cloudera Data Science2.CDSW1.3修复的问题 ---- 1.修复了cdsw status命令无法运行所有必需的系统检查的问题。Cloudera Bug: DSE-2937 3.CDSW1.3的不兼容性改动 3.1.使用Cloudera Director 2.7部署CDSW ---- 虽然这个不是CDSW的改动,您应该注意到,Cloudera但对于CDSW来说,使用cdsw logs命令收集指标和日志可能需要3分钟以上。该问题影响的版本:CDSW1.2.x,1.3.0 解决办法:使用以下办法修改CDSW数据收集的默认时间 登录到CM 进入CDSW服务 点击“配置” 搜索“Docker Daemon Diagnostics
    来自:
    浏览:597
  • CDSW1.4的新功能

    ,以下我们具体看看CDSW1.4的新功能。1.CDSW1.4的新功能----1.模型和实验 - CDSW1.4优化了模型开发到投产的过程。现在,你可以使用CDSW在统一的工作流里创建,训练和部署模型。实验 - 训练和比较版本化,可重现的模型。6.cdsw status命令增加verbose选项cdsw status (可左右滑动)7.Kubernetes升级到1.8.121.1.Engine升级----CDSW1.4开始打包的基础engine因此,对CDH服务所做的任何更改,包括配置更改或者parcel升级,都必须完全重置CDSW。受影响的版本:CDSW1.2.x,1.3.x解决办法:根据你的部署情况,使用以下两种方式来完全重置CDSW。但对于CDSW来说,使用cdsw logs命令收集指标和日志可能需要3分钟以上。
    来自:
    浏览:307
  • 广告
    关闭

    2021 V+全真互联网全球创新创业挑战赛

    百万资源,六大权益,启动全球招募

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到
  • 如何修改CDSW会话的时区

    Fayson的github:https:github.comfaysoncdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的----无论我们的CDSW服务器上设置的为什么时区,CDSW本篇文章Fayson主要介绍如何为CDSW的会话设置时区。测试版本1.CDSW1.42.显现重现----1.在CDSW中启动一个会话通过代码终端输出日期与服务器时间对比?3.设置CDSW会话时区----CDSW会话时区的设置,可以通过两种方式设置,一种设置全局的,另一种是针对当前的Project进行设置。在当前CDSW1.4测试版本中全局的设置不能生效需要升级到CDSW1.4.2解决。如下配置还是将两种配置方式都讲一下:全局配置1.使用管理员账号登录CDSW平台,进入Admin菜单页面?5.总结----在CDSW1.4版本之前通过全局的方式设置环境变量不会在所有的会话生效,需要将CDSW版本升级至1.4.2。在未升级前可以通过在对于的Project中进行环境变量配置。
    来自:
    浏览:292
  • CDSW1.2的新功能

    CDSW1.2在美国时间10月20日正式发布,以下我们具体看看新功能。1.CDSW1.2的新功能 ---- 1.CDSW现在正式成为Cloudera Manager管理的服务之一,可以直接通过Parcel安装。Cloudera Manager通过CSD(Custom Service Descriptor)来管理CDSW。你可以通过Cloudera Manager安装,升级和监控CDSW。主节点现在将会自动检测加入或离开CDSW的工作节点的IP地址。6.CDSW的基础Docker镜像中现在包括了Kudu Python客户端。
    来自:
    浏览:2812
  • 0544-CDSW1.5的新功能

    1.5的主要更新是C6中终于可以使用CDSW了,另外HDP2.6.5和HDP3.1中也可以使用CDSW。检查DNS正向和反向查找是否适用于所提供的CDSW域和Master IP地址。cdsw status和cdsw validate命令的错误信息显示会更友好,以便于调试。7.命令行cdsw logs - 以前,cdsw logs命令生成两个日志包 - 一个是纯文本,另一个对敏感信息进行了脱敏。因此,为CDSW配置的通配符DNS主机名必须能被CDSW集群和浏览器解析。CDSW现在可以在安装过程中启用IPv4转发(net.ipv4.conf.default.forwarding)。如果要自定义parcel目录,需要在master和worker节点的cdsw.conf文件中配置DISTRO_DIR属性。更改后运行cdsw restart。
    来自:
    浏览:399
  • 如何在CDSW中定制Docker镜像

    (Cloudera Data Science WorkBench)的安装及示例代码的运行,在《如何基于CDSW基础镜像定制Docker》中已经介绍了Docker镜像的定制,在这里我们基于CDSW1.2.2,对于有依赖的包安装时更加麻烦,本篇文章主要介绍如何深度定制CDSW的Docker镜像。》 《如何在CDSW中使用R绘制直方图》 《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》 内容概述 1.配置Python和R的私有源地址 2.预装Python和R的依赖包 3.定制Docker镜像及自定义镜像在CDSW中使用 4.测试及总结 测试环境 1.RedHat7.2 2.CDSW1.2.2 前置条件 1.Python私有源已搭建 2.R私有源已搭建 2.查看镜像并使用镜像启动一个容器---- 1.使用管理员登录CDSW查看当前使用的Docker镜像 可以看到当前使用的镜像为docker.repository.cloudera.comcdswengine:4 2.登录CDSW Master
    来自:
    浏览:624
  • 0584-5.16.1-如何卸载CDSW1.5

    CDSW1.5,参考《0573-5.16.1-如何将CDSW从1.4.2升级到1.5》,期间还碰到了一个问题《0574-5.16.1-CDSW1.4升级1.5版本db-migrate镜像启动失败问题解决测试环境1.CM和CDH版本为5.16.12.CDSW1.53.集群已启用Kerberos4.RedHat7.42卸载说明在CDSW1.4.2之前,停止或重启CDSW服务,都可能导致CDSW数据丢失,这是1.下载cdsw_protect_stop_restart.sh到CDSW Master节点,该脚本主要会帮你备份CDSW的项目数据。2.选择CDSW1.5的Parcel,点击“停用” ?3.选择CDSW1.5的Parcel,点击右边的下拉箭头,“从主机中删除”??4.回到CM主页,删除CDSW服务 ??至此CDSW1.5卸载完毕。
    来自:
    浏览:262
  • 如何在CDSW上运行TensorFlow

    Fayson的github:https:github.comfaysoncdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的前面Fayson也介绍了CDSW的安装及CDSW使用的一些知识构建小型集群的本地DNS服务器》《如何在Windows Server2012搭建DNS服务并配置泛域名解析》《如何在CDH5.13中安装CDSW1.2》《如何基于CDSW基础镜像定制Docker》《如何在CDSW中使用R绘制直方图》《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》内容概述1.下载示例代码及创建TensorFlow工程2.运行示例代码测试环境1.RedHat7.223.创建TensorFlow示例工程1.登录CDSW服务,点击创建工程2.输入工程名称,选择本地代码上传??3.上传完成,点击“Create Project”?5.总结在CDSW1.2.2版本已集成了TensorFlow的包在运行示例时需要检查所需要的Packages是否都已安装,具体的安装方式Fayson在前面的文章也有介绍。
    来自:
    浏览:507
  • 如何在CDSW上运行TensorFlow

    Fayson的github:https:github.comfaysoncdhproject提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson也介绍了CDSW的安装及CDSW使用的一些知识,本篇文章主要介绍如何在CDSW平台上运行一个TensorFlow的示例,在学习本章知识前,你需要知道以下知识: 《如何在Windows Server2008搭建DNS服务并配置泛域名解析》 《如何利用Dnsmasq构建小型集群的本地DNS服务器》 《如何在Windows Server2012搭建DNS服务并配置泛域名解析》 《如何在CDH5.13中安装CDSW1.2》 《如何基于CDSW基础镜像定制Docker》 《如何在CDSW中使用R绘制直方图》 《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》 内容概述 1.下载示例代码及创建TensorFlow工程 2TensorFlow依赖的Packages 4.运行tf_tutorial.py示例代码测试 5.运行mnist.py示例代码 6.运行mnist_deep.py示例代码 5.总结 ---- 在CDSW1.2.2
    来自:
    浏览:542
  • 如何在CDSW上创建Git工程

    Fayson的github:https:github.comfaysoncdhproject提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDSW上有多中创建工程的方式(创建一个空的工程、模板工程、本地上传工程或者是创建git工程),前面的都比较好理解,那如何在CDSW上创建Git工程呢?内容概述 1.CDSW的SSH Keys说明及查找 2.Git配置SSH Keys 3.测试 测试环境 1.CM和CDH版本为5.13.1 2.CDSW版本为1.2 2.CDSW的SSH keys --那么CDSW提供的秘钥在哪里可以找到呢?3.点击“Create Project” 可以看到admin用户能够成功的从Git上将工程Clone到CDSW中。
    来自:
    浏览:508
  • 如何基于CDSW基础镜像定制Docker

    1.文档编写目的 ---- CDSW中提供的基础镜像中已有R的环境,但是在真实使用过程中往往需要安装更多R的包。我们在创建一个新的Project时如果使用CDSW基础镜像,每次都需要重新安装需要的依赖包,为了避免大家每次都需要重复安装R的包,这时就需要定制我们自己的Docker。本文档主要讲述如何基于CDSW基础镜像定制我们自己的Docker镜像。内容概述 1.安装前准备 2.查找CDSW基础镜像 3.定制Docker镜像 4.自定义镜像使用 测试环境 1.操作系统:RedHat7.2 2.采用sudo权限的ec2-user用户操作 3.CDSW版本1.1.1 2.查看CDSW基础镜像 ---- 登录CDSW平台查看使用的基础镜像名称 点击“Engines” 上图标注部分即为CDSW的基础镜像(docker.repository.clouderacdswengine
    来自:
    浏览:742
  • 0602-6.1.0-如何卸载CDSW1.5

    ,参考《0600-6.1.0-如何在CDH6.1中安装CDSW1.5》,本文主要介绍如何卸载CDSW1.5。测试环境1.CM和CDH版本为5.16.12.CDSW1.53.集群已启用Kerberos4.RedHat7.42 卸载前准备注:如果你卸载CDSW后,还会重装想保留之前的数据,建议执行该步骤。2.选择CDSW1.5的Parcel,点击“停用” ?3.选择CDSW1.5的Parcel,点击右边的下拉箭头,“从主机中删除”??4.回到CM主页,删除CDSW服务 ??删除成功后,CM主页已经看不到CDSW服务 ?至此CDSW1.5卸载完毕。
    来自:
    浏览:193
  • 0716-1.6.0-CDSW1.6的新功能

    CDSW1.6的新功能1.Bring Your Own Editor你现在可以利用CDSW的所有好处,同时使用你熟悉的编辑器。你可以在CDSW的Web UI上下载cdswctl,然后在你的本地电脑中使用它。注意这个客户端不像cdsw命令行工具比如cdsw status。在Cloudera Manager中看到的CDSW服务状态,与你在命令行执行cdsw status和cdsw validate命令等价。,并按预期访问CDSW。CDSW1.6不兼容性更改CDSW1.6不再支持SLES12 SP2,SP3因为SLES12 SP2和SP3,SUSE也将停止支持,所有CDSW1.6或以后的版本将不再支持SLES12 SP2和SP3。
    来自:
    浏览:235
  • 如何修改CDSW服务的DNS和HOSTNAME

    内容概述 1.修改HOSTNAME及DNS地址 2.修改CDSW服务的Domain配置 3.验证CDSW服务是否正常 测试环境 1.RedHat7.2 2.CDSW1.2.2 2.测试环境描述 ----:172.18.3.4950 CDSW服务器地址:172.18.4.41 新域名:cdsw.cmf-int-dc.com 3.修改CDSW服务器的HOSTNAME及DNS地址 ---- 1.使用如下命令修改的Web控制台,进入CDSW服务 将CDSW DNS Domain修改为cdsw.cmf-int-dc.com域名修改为如下图所示 保存配置,回到CM主界面根据提示重启CDSW服务,等待CDSW服务重启成功登录CDSW 4.启动一个Session 运行示例 6.总结 ---- 修改CDSW的DNS地址及域名需要修改CDSW服务器的HOSTNAME以及重启Cloudera-scm-agent服务,否则会导致该文章中修改CDSW服务的HOSTNAME,仅限于CDSW1.2.x及以后版本且基于Parcel方式安装的CDSW。
    来自:
    浏览:651
  • 0773-1.7.2-CDSW1.7的新功能

    CDSW1.7.1的新功能1.1 CDSW1.7.1支持的升级路径Cloudera Data Science Workbench仅支持从版本1.5.x和1.6.x升级到版本1.7.1。CDSW1.7.1 bug修复1.修复了Cloudera Manager生成支持捆绑包的5分钟超时会导致捆绑包中缺少CDSW数据和指标的问题。需要明确的编码到cdsw-build.sh文件中。使用CDSW1.7.2或更高版本,models和experiments将自动继承这些管理员和项目级别的环境变量。CDSW1.7.2 bug修复1.修复了多节点CDSW 1.7.1部署中的一个问题,该问题是在升级到CDSW 1.7.1之后CDSW Web UI不会自动出现。此外,如果被测试的用户尚未同步到本地CDSW数据库,则“Test LDAP Configuration”表单不会返回任何错误消息。
    来自:
    浏览:187
  • 0739-CDSW本地数据目录权限问题

    问题解决使用命令添加cdsw用户,指定uid为8536useradd cdsw -uid 8536 ?可以看到此时该目录的属主已经变成了cdsw。?总结当安装CDSW后,所有的工程的目录属主皆为cdsw;而cdsw用户在docker里存在,在本地主机上不存在,所以造成存在本地的目录的属主为8536;解决该问题的方法是使用useradd添加用户cdsw
    来自:
    浏览:192
  • 0799-1.8-CDSW1.8的新功能

    1.2监控模型指标CDSW允许你跟踪单个模型的预测并使用自定义代码分析指标。监控模型的功能和业务效果需要专门的工具,现在CDSW原生包含这部分功能,以支持存储和访问自定义和任意模型指标。1.5更新会话启动视图增强启动新的CDSW会话时的用户体验。1.6添加CDSW会话元数据信息管理员可以强制用户在启动CDSW会话之前输入额外的元数据。如果你在不同域上有需要与CDSW API进行跨域通信的Web应用程序,可以启用CORS。Cloudera Bug: DSE-49506.修复了多节点部署中CDSW重新启动的问题。Cloudera Bug: DSE-9587, DSE-96637.如果你已为CDSW集群启用TLS,则Cloudera Manager现在为CDSW Web UI生成一个“ https”链接,而不是“
    来自:
    浏览:166
  • 如何使用Nginx实现CDSW的跨网段访问

    2.Nginx Server接收到客户端请求将cdsw1.fayson.com请求转发至CDSW服务。内容概述 1.DNS服务安装及配置 2.Nginx配置及版本要求 3.CDSW访问验证 4.总结 测试环境 1.CDSW1.2.2基于图中的DNS2服务运行正常 2.CM和CDH版本为5.13.1 3.服务IP地址,由于CDSW使用了泛域名,使用了多个域名如: livelog.cdsw1.fayson.comconsoles.cdsw1.fayson.comtty-{xxx}.cdsw1.fayson.com5.访问CDSW服务验证是否配置成功 ---- 1.在客户端浏览器输入http:cdsw1.fayson.com,输入用户名和密码登录 2.启动一个Session并运行代码 3.打开会话终端 4.创建工程 5.删除工程 6.总结 ---- 在配置DNS的时候需要注意,Nginx的反向代理域名和CDSW访问的域名是一致的,因为CDSW服务中有部分连接使用的是CDSW Master的HostName
    来自:
    浏览:909
  • 如何使用SAML配置CDSW的身份验证

    下图为CDSW集成SAML认证流程。3.在浏览器访问CDSW地址有如下显示 由于CDSW服务未在IDP服务注册,所以访问有限制。4.向IDP注册CDSW服务 ---- 1.编写CDSW服务的cdsw_saml_metadata.xml元数据文件,该文件主要是用于向IDP服务注册CDSW,文件内容如下: 由于CDSW服务的apiv1samlmetadata主页 至此就完成了CDSW的SAML的身份验证配置。在这里CDSW的接口未提供完成的cdsw_saml_metadata.xml配置文件,需要我们自己手动的创建该Metadata。
    来自:
    浏览:719
  • 后台查找CDSW中用户的审计日志

    ,对于CDSW平台服务的架构Fayson的理解是有多个Docker提供服务(类似于现在的微服务),这些服务组合起来形成了一个完整的CDSW平台。CDSW的界面管理员可以看到用户访问的审计日志,CDSW未提供审计日志导出的功能,那么如何获取CDSW的审计日志?本篇文章Fayson主要介绍如何通过后台获取审计日志,在CDSW界面上看到的信息如下:?Fayson也说了CDSW是由多个Docker提供服务,组成的一个完成的平台,在CDSW中数据的存储使用到的是Postgresql数据库,该数据库也独立运行在一个Docker容器中,这里我们需要在运行的众多容器中找出提供4.总结----1.CDSW服务的数据库使用的是Postgresql2.CDSW中各个服务是由独立的Docker容器提供提示:代码块部分可以左右滑动查看噢为天地立心,为生民立命,为往圣继绝学,为万世开太平
    来自:
    浏览:270

扫码关注云+社区

领取腾讯云代金券