大数据现在在我们的生活当中，已经有非常多的应用了，从我们习以为常的电商购物，到网约车出行，这些行为的背后，其实都是大数据在起到支持作用。 这里可以举几个比较典型的大数据应用的例子： 1、电商行业 电商的数据较为集中，数据量足够大，数据种类较多，因此未来电商数据应用将会有更多的想象空间，包括预测流行趋势，消费趋势、地域消费特点、客户消费习惯、各种消费行为的相关度、消费热点、影响消费的重要因素等。 2、零售行业 零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户消费喜好和趋势，进行商品的精准营销，降低营销成本。另一层面是依据客户购买产品，为客户提供可能购买的其它产品，扩大销售额，也属于精准营销范畴。除此之外，零售行业可以通过大数据掌握未来消费趋势，有利于热销商品的进货管理和过季商品的处理。 3、制造业 制造业的常规和持续的任务产生大量的数据。利用工业大数据，可以帮合租提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程等。... 展开详请

你好，请问一下core-site.xml中的配置是直接复制官方文档里面的example来改的么？ 如果是的话，可能文档中的格式和实际的xml格式会有一些出入。 需要检查一下core-site.xml文档。... 展开详请

Hadoop系统搭建，对于很多刚开始学习的人来说，算是入门的第一道坎，顺利进行Hadoop系统搭建，这是Hadoop技术体系学习的开端，搭建环境之前，建议先对Hadoop有基本的了解。 Hadoop是基于Java语言开发的，主要运行在Linux系统上，所以在开始搭建Hadoop系统之前，需要具备基础的Java编程基础，掌握Linux系统命令。 另外，因为Hadoop是分布式系统，主从结构，主从节点需要相互访问，所以为了免密登录，还需要安装SSH。 Hadoop系统搭建流程： 第一步：找个CentOS 准备一台打在CentOS7系统的虚拟机，可以购买云服务器，也可以自己搭建。 第二步：安装SSH 在Xshell命令窗口中输入安装命令，yum工具会自动从网上下载SSH组件并完成安装。 第三步：安装JAVA 输入yum-y install java-1.8.0-openjdk*命令，自动安装JAVA。 第四步：Hadoop单机模式跑一跑 将Hadoop解压后，默认就是单机模式，不必修改任何配置文件，也不用启动Hadoop的守护进程，Map和Reduce任务运行在同一个JVM进程中。 单机模式下，只利用Hadoop的MapReduce计算框架来做数据计算，并没有发挥Hadoop的实际作用，仅用于程序调试。 第五步：Hadoop伪分布模式跑一跑 伪分布式是指相关守护进程都独立运行，只是运行在同一台计算机上，使用HDFS来存储数据，一般用来模拟一个小规模集群。 伪分布式并非是Hadoop的完整模式，但是在Hadoop学习阶段来说，已经足够使用了，掌握好了以后，可以尝试完全分布式的搭建和操作。... 展开详请

自从 Hadoop 作为 Apache 基金会开源项目发布以来，一直备受青睐，很大程度上得益于 Hadoop 的可扩展性、低成本、灵活的处理模式等特点。 随着数据规模的不断扩大，企业对大数据存储、管理和分析的需求愈加迫切。数据量的庞大、数据类型的复杂 ，特别是非结构化或者半结构化的数据远远多于结构化的数据，一些传统的基于关系型数据库的存储和分析难以满足，且关系型数据库巨大成本压力也是很多企业考虑的问题，而 Hadoop 给企业提供了解决大数据问题的技术手段。 与传统数据库系统相比较，开源的 Hadoop 有自己的优势。尤其是 Hadoop 既能处理关系型数据库中的结构化数据，也能处理视频、音频、图片等非结构化数据，并且 Hadoop 还能够根据数据的规模和问题的复杂度轻松的扩展。... 展开详请

很高兴能为您解答，是这样的： 如果需要使用beeline操作的话，需要先进行Kerberos认证，认证方式有两种，分别为： 直接认证Kerberos principal，但需要手动输入密码：比如：kinit admin@EXAMPLE.COM 通过密钥(keytab)认证Kerberos主体(Principal)，不需要手动输入密码，但前提是密钥要与Kerberos主体相匹配。比如：kinit -kt xxx.keytab xxx@EXAMPLE.COM 然后再确定hiveserver所在主机，并获取所在主机的hive的principal， 比如hiveserver所在主机在node2.xdata，且hiveserver所在主机的hive principal是hive/node2.data@EXAMPLE.COM 具体命令示例如下： beeline -u 'jdbc:hive2://node2.data:10000/default;principal=hive/node2.data@EXAMPLE.COM' 这样的话应该就可以正常执行hive操作了。 希望可以帮到你~ ... 展开详请

1、首先，你本地集群必须要有公网IP（或DDNS域名也行） 2、在你的HDFS上尝试用docker搭建文件服务，如FTP，SMB等 3、在你的远程服务器链接本地虚拟机文件服务，然后在服务端设置脚本，自动定时复制文件到远程文件服务器。 4、虚拟机访问该文件服务端物理文件，然后做大数据分析。... 展开详请