问数据湖如何存储数据和格式？

EN

数据湖是以其自然格式存储的数据的系统或存储库，1通常是对象块或文件。数据池通常是所有企业数据的单一存储区，包括源系统数据的原始副本和用于报告、可视化、分析和机器学习等任务的转换数据。数据池可以包括关系数据库(行和列)的结构化数据、半结构化数据(CSV、日志、XML、JSON)、非结构化数据(电子邮件、文档、PDF)和二进制数据(图像、音频、视频)。

示例:用于托管数据湖的技术的一个例子是Apache中使用的分布式文件系统。

许多公司还使用云存储服务，如Azure数据湖和AmazonS3.9，学术界对数据湖的概念逐渐感兴趣，例如，卡迪夫大学的个人DataLake10创建了一种新型的数据湖，旨在通过提供一个收集、组织和共享个人数据的单一点来管理个人用户的大数据。

早期的数据湖(Hadoop1.0)由于其面向批处理(MapReduce)的能力有限，是唯一与其相关的处理范式。与数据湖交互意味着您必须具备Java方面的专业知识，使用map、reduce和更高级的工具，比如Apache & Apache (这些工具本身是面向批处理的)。随着Hadoop2.0的到来和由纱线(另一个资源谈判者)接管的资源管理( Resource )的职责分离，新的处理范式(如流、交互式、在线处理)已经通过Hadoop和Data提供了。