相关内容
文件存储
如何控制谁可以文件系统访问权限 您可以通过配置权限组来限制来访的主机 客户端详情参阅 权限管理 本地访问 我是否可以使用腾讯云 连接从本地访问 文件...单文件系统容量上限为 文件系统具有弹性 可根据您增建文件的操作自动扩展和收缩您无需提前指定或预置文件系统的大小 只需为实际使用存储空间付费一个文件...
基于Spark的大规模推荐系统特征工程
第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎fesql，针对ai场景支持sql接口，兼容spark 3.0同时提供高性能的native执行引擎。 本次分享题目为基于spark的大规模推荐系统特征工程及优化，主要内容包括：大规模推荐系统spark sql应用...
基于Spark的大规模推荐系统特征工程
第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎fesql，针对ai场景支持sql接口，兼容spark 3.0同时提供高性能的native执行引擎。 本次分享题目为基于spark的大规模推荐系统特征工程及优化，主要内容包括：大规模推荐系统spark sql应用...
Spark shuffle读操作
shuffle过程的数据是如何传输过来的，是按文件来传输，还是只传输该reduce对应在文件中的那部分数据？ 2. shuffle读过程是否有溢出操作？ 是如何处理的？ 3. shuffle读过程是否可以排序、聚合？ 是如何做的？ 概述在 spark shuffle的写操作之准备工作中的 resulttask 和 shufflemaptask 看到，rdd读取数据是调用了其 ...
Spark2.3.0 RDD操作
在 spark 中，所有的转换操作(transformations)都是惰性(lazy)的，它们不会马上计算它们的结果。 相反，它们仅仅记录应用到基础数据集(例如一个文件)上的...并指定是否替换．5.5 saveastextfile(path)将数据集的元素写入到本地文件系统，hdfs 或任何其他 hadoop支持的文件系统中的给定目录的文本文件（或文本文件...
Spark 生态系统组件
而spark作为大数据处理的“利器”有着较为成熟的生态圈，能够一站式解决类似场景的问题。 正是spark这个生态系统实现了“one stack to rule them all”目标。 本文选自《图解spark：核心技术与案例实战》spark 生态系统以spark core 为核心，能够读取传统文件（如文本文件）、hdfs、amazon s3、alluxio 和nosql 等...
深入浅出Spark：存储系统
作者 | 吴磊策划 | 陈思 专题介绍:2009 年，spark 诞生于加州大学伯克利分校的 amp实验室（the algorithms, machines and people lab），并于 2010 年开源。 2013 年，spark 捐献给阿帕奇软件基金会（apache software foundation），并于 2014 年成为 apache 顶级项目。 如今，十年光景已过，spark 成为了大大小小...
Spark简介
根据spark主页上的描述，spark程序比基于memory的hadoop(一个分布式系统基础架构)的mapreduce要快100倍，比基于硬盘的hadoop mapreduce 快10倍。 spark之所以有如此快的速度，是因为采用了很多高效的方案，如采用懒惰模式，基于内存进行操作，对数据进行多种方式的缓存等等。 spark程序易于编写。 spark 原生是由...
Spark开发指南
spark提出的最主要抽象概念是弹性分布式数据集(resilient distributed dataset,rdd)，它是元素的集合，划分到集群的各个节点上，可以被并行操作。 rdds的创建可以从hdfs(或者任意其他支持hadoop文件系统) 上的一个文件开始，或者通过转换驱动程序（driver program）中已存在的scala集合而来。 用户也可以让spark保留...
初识Spark
spark的计算速度也要比mapreduce快得多，它有一个先进的dag执行引擎，支持非循环的数据流和内存计算。 官网介绍说在使用内存的情况下快100倍，而使用磁盘的情况下快10倍。 而且spark 是在 scala 语言中实现的，它将 scala 用作其应用程序框架。 与 hadoop 不同，spark 和 scala 能够紧密集成，其中的 scala 可以像...
Spark内存调优
spark 引入了堆外（off-heap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。 利用 jdk unsafe api（从 spark 2.0 开始，在管理堆外的存储内存时不再基于tachyon，而是与堆外的执行内存一样，基于 jdk unsafe api 实现），spark 可以直接操作系统堆外内存，减少了不必要的内存开销...
BigData--大数据分析引擎Spark
spark core：实现了spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。 spark core中还包含了对弹性分布式数据集(resilient distributed dataset，简称rdd)的api定义。 spark sql：是spark用来操作结构化数据的程序包。 通过spark sql，我们可以使用 sql或者apache hive版本的sql方言(hql)...
大数据技术Spark学习
spark sql 的默认数据源为 parquet 格式。 数据源为 parquet 文件时，spark sql 可以方便的执行所有的操作。 修改配置项 spark.sql.sources.default，可...否则就是本地文件系统)。 示例代码如下：importjava.io.fileimportorg.apache.spark.sql.rowimportorg.apache.spark.sql.sparksessioncaseclassrecord(key...
Spark学习笔记
hadoop 和 spark 的关系hadoop google 在 2003 年和 2004 年先后发表了 google文件系统 gfs 和 mapreduce 编程模型论文. 基于这两篇开源文档,2006 年 ...transformation 操作不是马上提交 spark 集群执行的,spark 在遇到 transformation 操作时只会记录需要这样的操作,并不会去执行,需要等到有 action 操作的...
Spark 基础面试题
7.rdd是什么以及它的分类：8.rdd的操作9.rdd缓存：spark可以使用 persist 和 cache 方法将任意 rdd 缓存到内存、磁盘文件系统中。 缓存是容错的，如果一个 rdd 分片丢失，可以通过构建它的 transformation自动重构。 被缓存的 rdd 被使用的时，存取速度会被大大加速。 一般的executor内存60%做 cache， 剩下的40%做 ...
Spark on Yarn详解
webhdfs rest api： http:hadoop.apache.orgdocsr2.8. 3hadoop-project-disthadoop-hdfswebhdfs.html查看jar包的属性http:localhost:50070webhdfsv1spark-examples_xx.jar? op=getfilestatus? 查看spark库zip文件属性http:localhost:50070webhdfsv1__spark_libs__.zip? op=getfilestatus? 提交spark任务每执行一次...
Spark系列(三)Spark的工作机制
看了师妹关于spark报告的ppt，好怀念学生时代开组会的时光啊，虽然我已经离开学校不长不短两个月，但我还是非常认真的翻阅了，并作为大自然的搬运工来搬运知识了。 spark的执行模式1、local，本地执行，通过多线程来实现并行计算。 2、本地伪集群运行模式，用单机模拟集群，有多个进程。 3、standalone，spark做资源...
深入浅出Spark（三）：Spark调度系统之“权力的游戏”
作者 | 吴磊策划 | 陈思专题介绍：2009 年，spark 诞生于加州大学伯克利分校的 amp实验室（the algorithms, machines and people lab），并于 2010 年开源。 2013 年，spark 捐献给阿帕奇软件基金会（apache software foundation），并于 2014 年成为 apache 顶级项目。 如今，十年光景已过，spark 成为了大大小小...
Spark-计算引擎
与 hadoop 不同，spark 和 scala 能够紧密集成，其中的 scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 hadoop 的补充，可以在 hadoop 文件系统中并行运行。 通过名为 mesos 的第三方集群框架可以支持此行为。 spark 由加州大学...
【Spark】基于Spark的大型电商网站交互式行为分析系统项目实战
（1）spark应用通过调用spark-submit命令启动java程序中调用本地的shell脚本来启动spark的应用，shell脚本中是spark-submit的命令。 优点：比较简单。 缺点：需要将shell脚本放到所有可能执行的服务器上，并且spark应用的jar文件和spark的环境（spark-submit脚本和相关的lib）要放到所有需要执行的服务器上。 （2）...
