CDSW1.7.1的新功能
1.1 CDSW1.7.1支持的升级路径
Cloudera Data Science Workbench仅支持从版本1.5.x和1.6.x升级到版本1.7.1。如果使用的是CDSW的早期版本,则必须首先升级到1.5.x或1.6.x版,然后再升级到1.7.1版。
1.2 分析应用
此功能使数据科学家可以创建Web应用程序/仪表板,并轻松与其他业务相关者共享它们。应用程序的范围从嵌入的单个可视化到丰富的仪表板解决方案(例如Tableau)。它们可以是交互式的或非交互式的。
应用程序与CDSW中现有的工作负载并列,需要在项目范围内创建应用程序,每个应用程序都在自己的隔离引擎中启动,与模型一样,为应用程序启动的引擎不会自动超时。
下面会介绍如何在项目中创建应用程序,在创建之前,确保应用程序已经经过了测试。
1.3 使用Grafana监控CDSW
CDSW使用Prometheus和Grafana提供了一个仪表板,使您可以监视CDSW如何消耗CPU,内存,存储和其他资源。
1.4 功能覆盖标志
这是CDSW服务在CM中可用的新的功能。此功能可以用于启用/禁用实验室的功能并禁用诊断包中的使用情况度量标准收集。下面会介绍如何使用该功能。
1.5 配额
CDSW的管理员可以为每个用户启用CPU、GPU和内存使用配额。可以为每个用户设置默认的配额,或者为特定用户设置自定义的配额。默认情况下此功能未启用。
1.6 使用情况指标收集功能
默认情况下,CDSW 1.7.1会收集有关您的部署中正在使用的功能的高度精简的信息。创建诊断包时,此信息与诊断信息一起打包。可以在CM中配置“Feature Flag Overrides”来关闭该功能。
CDSW1.7.1 bug修复
1.修复了Cloudera Manager生成支持捆绑包的5分钟超时会导致捆绑包中缺少CDSW数据和指标的问题。
Cloudera Bug编号:DSE-3160
2.修复了由作业触发的电子邮件将传递空白附件或根本不传递附件的问题。
Cloudera Bug编号:DSE-8806
3.修复了以下问题:如果在非UTC的时区进行调度,则调度的作业将无法启动。
Cloudera Bug编号:DSE-8563
4.修复了工作台中不活动的Jupyter会话的行为与应用程序其余部分不一致的问题。
Cloudera Bug编号:DSE-7867
5.修复了版本1.6.1中的一个问题,该问题中使用自定义证书颁发机构(由其组织的内部CA或非默认CA签名)的部署必须明确设置 REQUESTS_CA_BUNDLE 环境变量,以强制Python使用系统信任库。
Cloudera Bug编号:DSE-7441
6.修复了UI问题,即应用程序无法一致或按预期打开项目文件。
Cloudera Bug编号:DSE-6274
7.修复了无法在“工作台”或“文件”视图中预览带有中文字符的CSV文件的问题。
Cloudera Bug编号:DSE-4892
8.修复了CDSW会长时间保留会话数据的问题,导致 /var/lib/cdsw 装入会影响应用程序性能的旧数据。
Cloudera Bug编号:DSE-3170
9.CDSW现在在应用程序重新启动时清除所有iptables规则。这样可以解决Kerberos身份验证和浏览器对Workbench的访问反复出现的问题。
Cloudera Bug编号:DSE-5095
CDSW1.7.2的新功能
3.1 添加了对CDP Data Center7.0的支持
CDP Data Center是CDP本地部署的版本。该新产品结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的优点,以及堆栈中的新功能和增强功能。CDP Data Center由各种组件组成,例如Apache HDFS,Apache Hive 3,Apache HBase和Apache Impala,以及许多其他用于特殊工作负载的组件。
可以在Cloudera Manager上通过Parcel包的方式将CDSW1.7.2安装到CDP Data Center7.0上。不支持RPM包的方式安装。
3.2 容器构建的过程中在管理员级别和项目级别设置的环境变量会传递到models以及experiments中
在CDSW1.7.1及更低的版本中,在管理员级别和项目级别设置的环境变量不会自动传递到models和experiments中。需要明确的编码到cdsw-build.sh文件中。使用CDSW1.7.2或更高版本,models和experiments将自动继承这些管理员和项目级别的环境变量。
需要注意的是,在cdsw.conf(如NO_PROXY, HTTP(S)_PROXY)中配置了自定义安装或环境变量是不会传递到models和experiments中(即使它们已应用于会话,作业和已部署的models/experiments) 。
CDSW1.7.2 bug修复
1.修复了多节点CDSW 1.7.1部署中的一个问题,该问题是在升级到CDSW 1.7.1之后CDSW Web UI不会自动出现。
Cloudera Bug编号:DSE-9587
2.修复了一个问题,即在管理员级别和项目级别设置的环境变量在容器构建时不会传递给models和experiments。
Cloudera Bug编号:DSE-6708
3.修复了启用“Require invitation”复选框时新用户无法登录的问题。此外,如果被测试的用户尚未同步到本地CDSW数据库,则“Test LDAP Configuration”表单不会返回任何错误消息。
Cloudera Bug编号:DSE-3829
4.修复了许可证文件无法通过UI上传到CDSW的问题。
Cloudera Bug编号:DSE-9874,DSE-8865