一、PySpark 简介
1、Apache Spark 简介
Spark 是 Apache 软件基金会 顶级项目 , 是 开源的 分布式大数据处理框架 , 专门用于 大规模数据处理 , 是一款 适用于...使用起来更加 高效 简洁 ;
Spark 把 数据分析 中的 中间数据保存在内存中 , 减少了 频繁磁盘读写 导致的延迟 ;
Spark 与 Hadoop 生态系统 的 对象存储 COS 、HDFS 、Apache..., 包括Java、Python、R和Scala , 其中 Python 语言版本的对应模块就是 PySpark ;
Python 是 Spark 中使用最广泛的语言 ;
2、Spark 的 Python...语言版本 PySpark
Spark 的 Python 语言版本 是 PySpark , 这是一个第三方库 , 由 Spark 官方开发 , 是 Spark 为 Python 开发者提供的 API ;...语言主流应用于 大数据 与 人工智能 领域 , 在其它领域 , 基本不使用 Python 语言开发 ;