首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

2020年了解的云数据仓库趋势

复杂的云数据仓库环境

受访者指出,他们的云数据仓库需要完成复杂的工作,他们必须跨越混合环境,并适应更大的组织向云的转移,除了所有这些,受访者还希望他们的云数据仓库能够为整个公司的职能工作,而不仅仅是少数几个技术团队,云数据仓库环境变得越来越复杂,大多数(36%)的受访者表示,他们将在混合环境中部署。

在云中成功进行数据仓库的挑战

将数据放入CDW仅仅是开始,除了将各种数据提取到CDW中的复杂性之外,还有许多其他主要挑战,受访者指出的最大挑战是治理(50%),跨多个源集成数据(> 40%)以及将数据放入仓库(38%),一些受访者告诉我们:“云数据库有其局限性,内部部署永远不会完全消失,因此不同的环境只会使一切复杂化”,和“我们有数百个没有良好主数据的遗留系统,云数据仓库不能解决数据结构问题”。

企业在CDW中执行数据分析的需求变得越来越复杂

公司需要许多额外的处理和方法,包括在内存中处理(> 35%)的顶部3,支撑结构化和非结构化数据(> 35%),和集成用3 个方分析工具(> 35%),受访者还表示,他们希望将数据加载到CDW 之前和之后的数据进行处理,最常见的转换和集成需求是:

当今的组织已经全面采用云数据仓库

但是他们认识到云数据仓库必须做的事情已经随着云计算,自动化,机器学习和其他重要趋势的变化而发展,CDW本身不再是目的,而是数据驱动之旅的一个阶段,其中必须涉及管理数据生命周期,确保数据质量,提供数据治理框架以及其他注意事项。

使用上下文变量的最佳实践

隐式上下文负载,隐式上下文加载是可以很容易忽略但非常有价值的功能之一,简而言之,隐式上下文负载只是将作业链接到硬编码的文件路径或数据库连接以检索上下文变量的一种方式,很好但是您仍然必须对文件路径/连接设置进行硬编码,因此如果我们想要真正的环境不可知的配置,在这里有什么用?没有那么大喊大叫的是,隐式上下文加载配置变量不仅可以硬编码,这为环境不可知的功能开辟了一个全新的世界,并使完全多余,无法为每个环境配置变量。

允许开发人员以最小的努力将基本的加密功能添加到他/她的项目中,而无需对加密的工作原理有深入的了解

JASYPT是随附的,因此无需四处寻找和下载各种Jar即可在此处使用,您所需要做的就是编写一点Java,以使您能够混淆值,以防止其他人能够以明文形式读取它们,现在,您不必一定要混淆所有值。这实际上可能有点痛苦。但是也使此操作变得容易,内置了一些功能,使它可以摄取参数文件并仅解密由…包围的值。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200724A0GV4F00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券