OSS（Object Storage Service）俗称对象存储，主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。
学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版DKhadoop，去大快的网站上应该可以下载到的。）
学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版 大快DKhadoop，去大快的网站上应该可以下载到的。）
最近闲来无事，和朋友一起想学习Hadoop，最晚弄机器的弄到两点多，今天一起动手安装Hadoop的环境，刚开始也是一头雾水，Hadoop官网的教程我也是醉了，说的牛头不对马嘴，最后只能通过各种百度解决了问题，最后把安装的一些操作都记录下来，希望可以帮助到后来人
跑一段时间的HIVE程序之后，偶尔打开对应的HDFS文件夹，才发现在其目录下，产生了太多的.hive-staging_hive_date-time_ XXX文件。 仔细一看，才发现几乎每个HIVE的查询语句都会产生这样的一个文件，这种文件会随着时间积累不断增加。 这也是前段时间造成HDFS目录到项的原因之一。 查了网上的相关说明，也没有比较好的说明，可能这是基于任何一个MAP REDUCE程序都需要报告结果一样的原因。而这个文件本身是没有什么意义的。 于是采取步骤如下： 1，在hive-site.xml中，
在大数据技术体系当中，Hadoop技术框架无疑是重点当中的重点，目前主流的大数据开发任务，都是基于Hadoop来进行的。对于很多初入门或者想要学习大数据的同学们，对于大数据Hadoop原理想必是比较好奇的，今天我们就主要为大家分享大数据Hadoop技术体系详解。
日志采集。线上数据一般主要是落地文件或者通过socket传输给另外一个系统。这种情况下，你很难推动线上应用或服务去修改接口，直接向kafka里写数据。这时候你可能就需要flume这样的系统帮你去做传输。
编者按：灯塔大数据将每周持续推出《从零开始学大数据算法》的连载，本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作，以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用，带我们在大数据技术的海洋里徜徉～每周五定期更新 上期回顾＆查看方式 在上一期，我们学习了配置Hadoop的相关内容。PS：了解了上期详细内容，请在自定义菜单栏中点击“灯塔数据”—“技术连载”进行查看；或者滑到文末【往期推荐】查看。 NO.65 “Hello World”程序—WordCount Mr. 王 ：你知道“Hello
离线机房：专为满足大数据相关业务方需求而设计的离线计算服务中心。其主要职能是部署离线调度、离线存储以及调度平台等服务。这些服务的目标是提供高效的离线数据处理和计算能力。在离线机房中，大数据业务方可以安心进行批量数据处理和计算任务，从而满足他们对数据处理、存储和调度的要求。
| 作者：周晓，腾讯游戏 CROS 体系高级工程师，负责多套HDFS集群的维护管理，并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA，稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。 ---- 1 这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要关注的告警指标。 一、定期bloc
我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成
文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化：
今天要聊的批处理，在前些年，有个忽悠人的外号，就是所谓的大数据。最经典的处理模式就是MapReduce，它起源于谷歌的《MapReduce:Simplified DataProcessing on Large Cluster》，初起风光，花式刷论文灌水，但是MapReduce饱受诟病，因为这是一个相当低层次的编程模型，类似于sql语句的group by。Hadoop的MapReduce作为一个逐渐走向没落的编程模型，我们学习更应该是其体现的理念，比如和Unix一样的，采用了统一的接口，对logic和wiring的分离。
本篇博客将总结 CDP 私有云基础（PvC Base）集群的安全架构。该架构反映了安全工程最佳实践的四大支柱：边界、数据、访问和可见性。CDP PvC Base的发布对安全架构进行了许多重大改进，包括：
本篇简单介绍一下业界流行的大数据权限管理框架Apache Sentry和Ranger。
导读：多数读者们了解BookKeeper是通过Pulsar，实际上BookKeeper在数据库和存储场景都有着非常广泛的应用。BookKeeper是Pulsar的底层存储，Pulsar有着广泛数据入口，Pulsar跟Kafka及各类MQ（RabbitMQ、ACTIVEMQ）的较大区别是Pulsar是统一的云原生消息流平台，不但是分布式系统，而且做了存算分离，可以让用户在云的环境下，体验到云原生的优势，例如随意扩缩容、数据灵活迁移复制等。希望通过本文，让大家对Pulsar底层的BookKeeper有更深入的了解。
第一个时期： 2006 年到 2008 年。2008 年左右，Hadoop 成为了 Apache 顶级项目，并正式发布了 1.0 版本，它的基础主要是基于谷歌的三驾马车，GFS、MapReduce、BigTable 去定义的。
Hadoop这个名字并不是什么具有实际意义的单词，而是Hadoop项目作者的孩子给一个棕黄 色大象玩具的命名
导语 | 云原生数据湖架构以低成本优势推动客户上云，同时云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命。本文由腾讯大数据专家工程师于华丽在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」的《云原生数据湖新一代数据架构》演讲分享整理而成，为大家详尽介绍云原生数据湖的价值和背景，云原生数据湖架构原则和挑战，同时分析腾讯云数据湖产品，展望腾讯云数据湖解决方案。 点击可观看精彩演讲视频 一、云原生数据湖架构的价值 今天分四个阶段来为大家
在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，Spark Streaming和Filnk。 曾经在一个项目里面用过阿里改造后的JStrom，整体感受就是编程略复杂，在不使用Trident Api的时候是不能保证准确一次的数据处理的，但是能保证不丢数据，但是不保证数据重复，我们在使用期间也出现过几次问题，bolt或者worker重启时候会导致大量数据重复计算，这个问没法解决，如果想解决就得使用Trident来保
目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施 准备3台服务器，分别命名为 master、slave1、slave2 互相配置为 SSH 免密码登录，并都安装好 JAVA 环境 （2）安装配置 hadoop 在 master 上下载解压 hadoop，修改相应配置文件，包括： core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-s
随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。
作者 | 聂磊 策划 | Tina 云原生架构下，基于 Hadoop 技术栈搭建数据平台应该如何改造？ 理想汽车大数据平台涉及的组件多， 在从 Hadoop 到云原生演进的过程中边探索，边实践，积累了不少一手经验；同时，他们率先在对象存储上使用 JuiceFS，实现平台级文件共享、跨平台使用海量数据等场景。 1 理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了 4 个时期： 第一个时期：2006 年到 2008 年。2008 年左右，H
编者按：本文最初发表于 2018.07.07 JuiceFS 官方博客，那是还没有开始这个公众号，官博去年的文章里这篇阅读最多，所以在官微中也发一次，方便读者引用、转发、收藏。
GooseFS 是腾讯云对象存储团队面向下一代云原生数据湖场景推出的存储加速利器，提供与 HDFS 对标的 Hadoop Compatible FileSystem 接口实现，旨在解决存算分离架构下的云端大数据/数据湖平台所面临的查询性能瓶颈和网络读写带宽成本等问题。使得基于腾讯云 COS/CHDFS 的大数据/数据湖平台在现有生产集群上获得等同甚至超越本地 HDFS 性能的计算体验。其设计应用场景如下：
这两天在搭建Hadoop与Spark的平台，要求是能够运行Spark，并且用python编程。笔者也不打算写一个很详细的细节教程，简单做一个笔记blog。
大数据只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybaits都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同学说Hibernate或Mybaits也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybaits的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
hive由Facebook开源用于解决海量结构化日志的数据统计。hive是基于Hadoop的一个数据仓库工具，是基于Hadoop之上的，文件是存储在HDFS上的，底层运行的是MR程序。hive可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。
目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。Apache Hudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fast upsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享、国内社区推广等等，也在逐步地吸引潜在用户的目光。Apache Iceberg目前看则会显得相对平庸一些，简单说社区关注度暂时比不上delta，功能也不如Hudi丰富，但却是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础。
👆点击“博文视点Broadview”，获取更多书讯 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 图1 1 数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些
随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 1 数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些有价值的内容。此时第一步需要做的是把数据采集过来。数据采集是大
目前市面上流行的三大开源数据湖方案分别为：Delta、Apache Iceberg 和 Apache Hudi。其中，由于 Apache Spark 在商业化上取得巨大成功，所以由其背后商业公司 Databricks 推出的 Delta 也显得格外亮眼。Apache Hudi 是由 Uber 的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的 fast upsert/delete 以及 compaction 等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享、国内社区推广等等，也在逐步地吸引潜在用户的目光。Apache Iceberg 目前看则会显得相对平庸一些，简单说社区关注度暂时比不上 Delta，功能也不如 Hudi 丰富，但却是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础。
回答的时候尽量根据STAR法则回答，Situation: 事情是在什么情况下发生，Target 你是如何明确你的目标的，Action: 针对这样的情况分析，你采用了什么行动方式，Result: 结果怎样。
作者 | 蔡芳芳 采访嘉宾 | 王宇飞、罗齐 自年初成立开源委员会以来，字节跳动开源动作频频。公开信息显示，字节跳动近五个月新开源了不少项目，包括 Shuffle 框架 Cloud Shuffle Service、基于 Rust 的 RPC 框架 Volo 等。 10 月 26 日，字节宣布开源自研数据集成引擎 BitSail，采用 Apache 2.0 开源许可。据悉，BitSail 支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有
导语 | GooseFS是一个分布式缓存系统。是存算分离架构中的一个重要角色，为上层计算框架和底层存储系统构建了桥梁。本文先对GooseFS的基础概念进行介绍，再对其架构及实践运用场景进行阐述，最后结合实践进行性能优化的呈现。 一、GooseFS简介 GooseFS是一个分布式缓存系统。是存算分离架构中的一个重要角色，为上层计算框架和底层存储系统构建了桥梁。 在腾讯云的大数据生态系统中，GooseFS介于计算框架和云存储（如COS，CHDFS，COSN）之间。GooseFS兼容Hadoop生态及同时支持F
本文来自9月1日在成都举行的Apache Flink China Meetup，分享来自于云邪。
我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。
RDD 介绍 RDD 弹性分布式数据集 弹性：具有容错性，在节点故障导致丢失或者分区损坏，可以进行重新计算数据 分布式: 数据分布式存储，分布式计算(分布式执行) 数据集：传统意义上的数据集，不过这个数据集不是真实存在的，只是一个代理，正真数据集的获取 需要通过Task来或者 RDD 真正意义上不存储数据，只是代理，任务代理，对RDD的每次操作都会根据Task的类型转换成Task进行执行 Spark中关于RDD的介绍： 1. 分区列表(分区有编号,分区中包含的切片迭代器) 2. 提供了切片的计算入口函数(RDD具有一些列的函数(Trans/Action)) 3. 其他RDD的一系列依赖（一个RDD 可以依赖于其他RDD） 4. (可选) 分区RDD (一个RDD也可以是一个分区RDD，可以对分区RDD进行处理) 5. (可选) 对RDD提供了一系列的计算函数 (RDD提供了对一些了切片的首选执行方法) RDD 有俩类函数，transformations （懒加载）/Action(立即执行) transformations 与Action最明显的区别在于： 1. transformations 为懒函数，action是实时函数 2. transformations 执行完毕后任然为RDD ，但是Action 执行完毕为 scala数据类型。 transformations函数为懒加载函数，调用该函数时函数不会立即执行，只记录函数执行操作，相当于pipeline，只是定义了RDD的执行过程，只有当Action函数出发以后，才会调用前面的Transformation。 Action函数为实时函数，执行了就会通过Master下发Task任务到Worker端，执行相应的处理。 transformations类函数：此类函数只会记录RDD执行逻辑，并不正真下发任务执行数据处理 函数列表：
近年来，大数据概念被炒的非常热，大数据公司也在快速的崛起，而人才的需求也越来越多。对于正在找大数据相关工作的同学们来说，面试时遇到什么问题才是他们最关心的。在下文中，本文专门搜集了86道hadoop面试时出现过的题目，希望助同学们面试一臂之力。
Hadoop 本身是用 Java 开发的，程序也需要用 Java 编写，但是通过 Hadoop Streaming，我们可以使用任意语言来编写程序，让 Hadoop 运行。
在目前，当零基础学习大数据视频教程前，首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
近年，随着互联网的发展特别是移动互联网的发展，数据的增长呈现出一种爆炸式的成长势头。单是谷歌的爬虫程序每天下载的网页超过1亿个（2000年数据，）数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架，解决了海量数据处理的问题。谷歌公司随即将设计思路开源，发表了具有划时代意义的三篇论文，很快根据谷歌设计思路的开源框架就出现了，就是如今非常火爆的hadoop、Maperduce和许多Nosql系统。这三大技术也是整个大数据技术的核心基础。
大数据作为一个新兴的热门行业，吸引了很多人，但是对于大数据新手来说，按照什么路线去学习，才能够学习好大数据，实现从大数据菜鸟到高手的转变。这是很多想要学习大数据的朋友们想要了解的。
·大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME
现在的用户画像，动不动就是几千几万个标签，标签一多就出现了一些需要克服的难题，比如下面两个：
为了解决小文件问题，我们也是八仙过海各显神通，一般而言可能都是写个MR/Spark程序读取特定目录的数据，然后将数据重新生成N个文件。但是在以前，这种模式会有比较致命的问题，因为在生成的新文件要替换原来的文件，而替换的过程不是原子过程，所以这个时候如果正好发生读，是会影响的。其次，很多读的程序，都会缓存文件路径，因为我们重新生成了文件，文件名称也变化了，导致读的程序的缓存失效，会发生比如文件找不到等异常。对于在一个进程比较好说，做下刷新就行，但是读往往是在不同的进程实例里，这个时候通知他们也是很难的事情。再极端一点，读取这个表的程序可能是另外一个团队维护的。所以其实小文件并没有想象的那么好解决，或者说能够优雅的解决。
来源 | 经授权转载自 百度智能云技术站 公众号 AI 应用对存储系统的挑战是全面的，从离应用最近的数据计算如何加速，到离应用最远的数据存储如何管理，到数据存储和数据计算之间如何高效流通，再到不同应用之间的资源调度如何协调 …… 这其中每一个环节的低效，都有可能拖累最终的 AI 任务的最终完成时间，让 AI 应用在一直等待数据，多个 AI 应用之间无法高效并发。 本次分享，将以存储系统为视角，对 AI 应用加速中的全部流程进行展开，分析其中关键节点和讲解相应技术，并分享百度智能云在 AI IaaS 建设
最近在看关于大数据、数据仓库 、数据架构的《数据架构：大数据、数据仓库以及Data Vault》一书，关于大数据有些思考，结合FineBI的Spider引擎，可看看Spider引擎对于大数据的阐释，以及在大数据平台架构中，可以处于什么样的位置。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
