首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

DataFrame和Dataset简介

它具有以下特点: 能够将 SQL 查询与 Spark 程序无缝混合,允许您使用 SQL 或 DataFrame API 对结构化数据进行查询; 支持多种开发语言; 支持多达上百种的外部数据源,包括 Hive...连接; 支持优化器,列式存储和代码生成等特性; 支持扩展并能保证容错。...二、DataFrame & DataSet 2.1 DataFrame 为了支持结构化数据的处理,Spark SQL 提供了新的数据结构 DataFrame。...由于 Spark SQL 支持多种语言的开发,所以每种语言都定义了 DataFrame 的抽象,主要如下: 语言主要抽象ScalaDataset[T] & DataFrame (Dataset[Row]...2.3 DataSet Dataset 也是分布式的数据集合,在 Spark 1.6 版本被引入,它集成了 RDD 和 DataFrame 的优点,具备强类型的特点,同时支持 Lambda 函数,但只能在

2.1K10
领券