受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响，Cloudera开始开发基于OpenJDK的Hadoop平台，参考Fayson之前的文章《Java收费，Hadoop怎么办？》。今年11月29日，Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持，参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》。本文Fayson主要介绍如何将CDH从Oracle JDK迁移到OpenJDK。
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。
受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响，Cloudera开始开发基于OpenJDK的Hadoop平台，参考Fayson之前的文章《Java收费，Hadoop怎么办？》。今年11月29日，Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持，参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》和《0486-如何将Kerberos的CDH5.16.1从Oracle JDK 1.8迁移至OpenJDK 1.8》。同时12月19日发布的《0487-CDH6.1的新功能》和《0488-Cloudera Manager6.1的新功能》，也开始支持OpenJDK。本文Fayson主要介绍如何将CDH6.1从Oracle JDK迁移到OpenJDK。
默认情况下， CentOS和RedHat5.5或更高的版本中，对Kerberos 票证使用AES-256加密，因此必须在集群所有节点的JDK中安装Java Cryptography Extension（JCE）无限制强度加密策略文件。在安装JCE文件的Kerberos集群中，服务启动时会报“java.security.InvalidKeyException: Illegal key size”异常。本篇文章Fayson主要介绍使用不同方式安装JCE加密策略文件以及如何禁用Kerberos的AES-256加密。
数据迁移的目的是为了给数据找一个更合适的归宿，让其满足当前及未来某段时间内业务场景的使用需求，使数据更安全，更可靠，更有效的为客户服务。
较早的Hive版本，不会在MetaStore中写入版本号。所以升级到新版本之后，会报错：
时下流行的词汇是大数据和Hadoop。了解大数据的知道Hadoop有三个组件，即HDFS、MapReduce和Yarn。 HDFS代表Hadoop分布式文件系统。 Hadoop分布式文件系统用于整个集群中以块的形式在计算机之间存储数据。 MapReduce是一种编程模型，可以用来编写我们的业务逻辑并获取所需的数据。 而Yarn是HDFS和Spark、Hbase等其他应用程序之间的接口。我们不知道的是，Hadoop使用了很多其他应用程序有助于其最佳性能和利用率。 1、Hbase HBase是一个基于HDFS的
引言 人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值；同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸；此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切。通过容器技术，在容器云平台上构建大数据与人工智能基础公共能力，结合多租户技术赋能业务部门的方式将人工智能、大数据与云计算进行
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
大家好，我是一哥，昨天看到了过往记忆大佬发了一篇文章，才发现Sqoop这个项目最近不咋好，心里很不是滋味，这个帮助过很多开发者的项目，竟然从Apache顶级项目中“下架”了，今天还是想给大家分享介绍一些这个很棒的项目，致敬！
Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别，通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6，兼容性稳定性是否存在问题等。出于这个目的，本文会从各个方面详细比较CDH5和CDH6的差别，从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调，没有最好的技术，也没有最新的技术就是最好的，永远只有最合适的技术。
如今，越来越多的企业将其大数据业务迁移到公共云服务。而企业同时采用云计算和大数据技术将是一种完美的结合。行业分析师和企业IT决策者对此表示认同，这并不奇怪：人们将在2018年看到大量的大数据项目涌入公共云。 调研机构Forrester公司分析师Brian Hopkins在一篇题为“将大数据项目迁移到公共云中的报告”中指出：“如果企业不这样做，那么将无法跟上客户的步伐。”采用公共云是企业技术决策者对大数据投资的首要事项。 甲骨文和英特尔公司委托Forrester公司进行的一项调查表明，在受访的431家企业中，
摘 要：通过对数据处理阶段性发展的解析，分析大数据、人工智能技术的发展趋势。结合实际生产需求，验证了基于容器云架构的新一代大数据与人工智能平台在数据分析、处理、挖掘等方面的强大优势。
Hadoop Distcp（Distributed copy）主要是用于 Hadoop 文件系统内部或之间进行大规模数据复制的工具，它基于 Map/Reduce 实现文件分发、错误处理以及最终的报告生成。由于利用了 Map/Reduce 的并行处理能力，每个 Map 任务负责完成源路径中部分文件的复制，因此它可以充分利用集群资源来快速完成集群或 Hadoop 文件系统之间的大规模数据迁移。
Transwarp Data Hub（TDH） 是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。
2022年，搜狐智能媒体完成了迁移腾讯云的弹性计算项目，其中大数据业务整体都迁移了腾讯云，上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果，达到了预期的降本增效目标。
随着集群规模的不断扩大，在对集群进行调整优化时。时常会考虑对集群的角色进行优化调整，这就会涉及到服务角色的迁移。本篇文章主要介绍如何将Zookeeper服务的单个实例从一个节点迁移到其他节点。
您可以使用 authzmigrator 工具将 Hive 对象和 URL 权限以及 Kafka 权限从 CDH 集群迁移到 CDP 私有云基础 集群。您可以使用 DistCp 工具将 HDFS 数据从安全的 HDP 集群迁移到安全或不安全的CDP 私有云基础集群。
数据库、表、函数等 Hive 对象的定义存储在 Metastore 中。 根据系统的配置方式，统计数据和授权记录也可能存储在那里。 Hive 和其他执行引擎在运行时使用此数据来确定如何解析、授权和有效执行用户查询。
随着企业迅速采用混合云和多云基础架构，并将传统工作负载迁移到云端，分布式架构已经成为事实上的标准，但是传统的备份和灾难恢复策略并没有跟上技术前进的步伐。企业需要一种新的云计算数据保护方法。 根据调研机构IDC的调查，70％的企业首席信息官拥有云端策略，而且绝大多数企业都拥有多云基础架构，可以将应用程序部署在最适合云端的情况下，无论是私有云，公共云还是混合云。这种向多云的发展创造了两个变革性的转变，正在破坏基础架构世界的应用层。 首先，云计算中诞生的下一代应用程序正在部署在下一代分布式非关系数据库（如Apac
导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进，随着云计算的普及，传统的数据仓库架构在资源弹性，成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO，腾讯云TVP 常雷在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《新一代云原生数据仓库的应用》演讲分享整理而成，为大家详细剖析新一代云原生数据仓库的架构、原理和实现技术，以及如何充分应用云原生数据仓库的特点来实现云上大数据应用。 点击可观看精彩演讲视频
分享议题：《深入数据同步技术研究》
因为项目的原因，今晚将mysql数据库的内容尝试迁移到oracle，虽然结果失败，不过学到了不少，下次就不一定了，哈哈
编写本文主要是因为Fayson在上篇文章《0480-如何从HDP2.6.5原地迁移到CDH5.16.1》迁移失败的补充，为什么迁移失败是因为HDP2.6.5的Hadoop版本2.7.5比C5的2.6要高导致的，HDFS只支持升级，而不支持降级。
作者 | Steven Chuang、Qinyu Yue、Aravind Rao、Srihari Duddukuru
云计算技术发展至今已经成为企业不可或缺的一部分，同时伴随着公有云模型的成熟，企业已经把部分数据迁移到公有云端，形成私有云与公有云并存的形式，即混合云逐渐成为常态。在混合云时代，企业要如何打造自己的云？甲骨文从自己的经验中摸索出PaaS六大标准，下面甲骨文公司副总裁及中国区技术产品事业部总经理吴承杨对此进行了介绍。 从最近和客户的沟通过程中，我们发现相对比较保守的政府、银行业，纷纷提出了上云的需求，说明了云计算的趋势已经覆盖所有行业，企业对于云计算的接受度、信任度，相比于前几年已经有明显的增长，正呼应了之前
今天，AWS首席布道者Jeff Barr在其博客上透露，Amazon消费者业务正式完成了对Oracle数据库的迁移工作，关闭了最后的Oracle数据库。Amazon将近7500个Oracle数据库、75 PB级数据库全部迁移到AWS数据库服务，包括Amazon DynamoDB，Amazon Aurora，Amazon Relational Database Service（RDS）和Amazon Redshift。
一直以来，大数据的使用远远不及大数据收集能力，就起原因主要是目前企业的数据主要分散在不同的系统或组织，大数据战略的杀手锏就是能够更深度的，更丰富的挖掘所有数据系统中的有价值的信息，从而更准确的预测客户行为，发现商业价值，但是目前很难将这些数据移到一个单独的数据存储中，另外，安全和监管问题也得不到保障，Oracle Big Data SQL的推出解决了现在面临的难题。 以下为译文： 发现企业或组织对数据管理架构的需求，Oracle推出Big Data SQL软件来整合包括Hadoop、NoSQL和Oracl
近日，Gartner正式公布了最新一期的2018 基础设施即服务魔力象限（IaaS Magic Quadrant）。翻阅了下各种分析，来点评一下，仁者见仁智者见智，欢迎和大家相互探讨。
伴随着Docker技术的兴起，以及容器集群管理平台Mesos、Kubernetes、Swarm、Rancher等的大行其道，仿佛PaaS平台及其相关技术一下进入了黄金时期，各种各样的技术组合，各种各样的技术验证，以及伴随着容器相关的创业公司布道，仿佛只要有了PaaS平台及其相关的技术，就能解决一切的企业IT问题。但是，企业IT，尤其是非互联网传统企业，PaaS平台的构建与业务上云是一个长期的过程，绝不是一个docker+kubernetes/Mesos/Swarm构建完以后就能完成的，IaaS年代是这样，PaaS年代也是这样。
对于Hive迁移到CDP平台，如果源平台为CDH且具有Cloudera的使用许可证，则可以通过CDP提供的Replication Manager轻松将Hive迁移到CDP平台中；如果源平台不是CDH或者没有Cloudera的许可证，则可以使用本文提供的方法进行迁移。
您可以将 Apache HBase 工作负载从 CDH 和 HDP 迁移到 CDP。要成功迁移 Apache HBase 工作负载，您必须首先了解两个平台之间的数据管理差异，并准备好源数据以与目标 CDP 平台兼容。
On OGG Big Data Server * Configure Redshift JDBC Parameter Name: jdbc_redshift.props
去IOE是伪命题，这是很多人公认的观点，IBM和EMC好去，可是去掉“O”谈何容易？因为我们在数据库方面没有积累，技术上存在明显差距，虽然国内也有一些数据库厂商，但是想达到取代Oracle或DB2成为去IOE的使命者尚有一段距离，但这一定论很可能被打破，阿里的入局很可能会让“去IOE”从理想照进现实。 近日，一则消息，淘宝顶级科学家阳振坤阿里正祥 ，发出一则消息。“从上周五开始，淘宝/天猫/聚划算在支付宝上的交易，100%都在OceanBase上了。T哥也随手查了一下OceanBase到底为何物？Oce
当HDFS的datanode节点挂载多个磁盘时，往往会出现两种数据不均衡的情况：
◆ ◆ ◆ 行业趋势 阿里巴巴成立VR实验室：3月17日，阿里巴巴宣布成立虚拟现实实验室，并公布了自家的VR战略规划。实验室成立后的第一个项目是“造物神”计划，目标是联合商家建立一个3D商品库，实现虚拟世界的购物体验，阿里此前在VR/AR领域也有布局，今年2月份阿里巴巴领投了神秘AR公司Magic Leap的C轮融资，融资总额7.94亿美元。 ◆ ◆ ◆ 资本动态 Chinapex创略完成A轮融资：国内程序化平台Chinapex创略近日宣布完成A轮融资。本轮融资由联创旗下基金无穹创投，以及均弥资本领投。Ch
作为 TiDB 企业版的全新升级，平凯数据库一经推出便广受媒体及用户关注。 近日，平凯星辰首席科学家丁岩在“平凯数据库全解读”活动中，首次详细介绍了平凯数据库的核心能力。 本文为丁岩演讲实录全文，为方便阅读，已做部分编辑。
对于很多程序员来说，公司选择什么样的数据库，基本不需要你来决定。当你加入一个公司的时候，公司的大部分技术选型已经确认，特别是数据库选型，因为数据库一旦选择，后期迁移的代价还是很大的。
作者简介 Joel Perez Oracle ACE Director，云和恩墨高级云技术专家 自从今年OOW上Oracle宣布要推出18c，一直受到比较多的关注。那么Oracle 18c对于广
由于由 Apache Accumulo (OpDB) 提供支持的操作数据库作为与 Accumulo 不同的服务进行处理，因此不支持就地升级，因为 OpDB 作为与 Accumulo 不同的服务进行处理，因此配置更改将在升级时丢失。
你需要具有一定的 Oracle 数据库管理员（DBA）的经验来设置和维护你的数据库。
CDP 私有云基础是Cloudera的本地（裸机）产品、企业数据中心（Enterprise Data Hub）和 HDP 企业的演变。CDP Private Cloud Base 7.1 包括 Cloudera Runtime 7.1，它将 CDH 和 HDP 的优点结合到一个发行版中。CDP私有云基础为客户提供以下服务：
在数据库的世界里，我们经常面对的一个现实就是：分久必合，合久必分。大多数企业都在这样一个轮回中不断革新。比如国内的银行，早期多数是按省市分布式布局，随着技术发展进步，慢慢建立了区域中心、全国中心，将数
本文对HBase常用的数据导入工具进行介绍，并结合云HBase常见的导入场景，给出建议的迁移工具和参考资料。
将 Oozie 数据迁移到 CDP 后，您必须首先配置 Oozie，然后将自定义 ShareLib jar 迁移到您的新集群。
组织的云计算之旅通常都将内部部署应用程序迁移到云平台中，而在这一过程将面临一些挑战，但最终将获得更多收益。组织可以采用复杂的、多层次的内部部署应用程序，并以一种允许组织充分利用其可扩展性和自动化特性的方式迁移到云中。
有赞是一家商家服务公司，向商家提供强大的基于社交网络的，全渠道经营的 SaaS 系统和一体化新零售解决方案。随着近年来社交电商的火爆，有赞大数据集群一直处于快速增长的状态。在 2019 年下半年，原有云厂商的机房已经不能满足未来几年的持续扩容的需要，同时考虑到提升机器扩容的效率（减少等待机器到位的时间）以及支持弹性伸缩容的能力，我们决定将大数据离线 Hadoop 集群整体迁移到其他云厂商。
在Hadoop发展的8年时间里，我们看到一种“使用浪潮”——一代又一代用户在相同的时间和类似的环境下使用Hadoop。每一个在数据处理时使用了Hadoop的用户，都面临着类似的挑战，为了让一切正常运转，要么被迫协同工作，要么干脆隔离。接下来我们就讨论这些客户，看他们彼此之间有何不同。 第0代——火种 这是开头：在谷歌2000年中的研究论文的基础上，一些信徒奠定了廉价存储和计算能力的商品化基础。 Doug Cutting是教父。他跟Mike Cafarella一起，实现了谷歌文件系统和MapReduce的一个
环境：Oracle 11.2.0.4 RAC（2 nodes） 说明：假设新增闪存挂载点是/flash（使用了第三方的集群文件系统），如果是使用Oracle的ASM，则本文提及的所有/flash目录都可以认定是新的闪存磁盘组是+FLASH。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
