腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >Spark vs Hadoop用这个简单的例子？

问Spark vs Hadoop用这个简单的例子？
EN

Stack Overflow用户

提问于 2019-05-12 11:17:45

回答 1查看 172关注 0票数 0

在谷歌上，Spark和Hadoop MapReduce之间的关键区别都体现在处理方法上: Spark可以在内存中完成，而Hadoop MapReduce必须从磁盘读取和写入。看起来我明白了，但我想用一个例子来确认一下。

考虑下面的字数统计示例：

 val text = sc.textFile("mytextfile.txt") 
 val counts = text.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) 
 counts.collect

我的理解是：

在Spark的情况下，一旦行被“”分割，输出将存储在内存中。与函数map和reduce类似。我相信当处理跨分区发生时也是如此。

在MapReduce的情况下，每个中间结果(像split/map/reduce之后的单词)是否会保存在磁盘上，即HDFS，这使得它比Spark更慢？我们没有办法把它们保存在内存中吗？分区结果也是这样吗？

apache-spark

hadoop

mapreduce

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-05-12 12:07:47

是的，你是对的。

SPARK中间RDD (弹性分布式数据集)结果保存在内存中，因此延迟更低，作业吞吐量更高。RDDs有分区，像SPARK先生这样的数据块也提供迭代处理，这也是需要考虑的一个关键点。

当然，MR确实有一个Combiner，可以稍微减轻一些痛苦。

但使用Scala或pyspark时，SPARK也更容易使用。

我不会再担心MR了--总的来说。

这里有一篇关于SPARK BTW的优秀读物：https://medium.com/@goyalsaurabh66/spark-basics-rdds-stages-tasks-and-dag-8da0f52f0454

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56098691

复制

在DataGrid中显示图片

java

DadaGrid 是 ASP.NET 编程中一个很重要的控件，其优良的可定制功能为提高它的表现力提供了极大的方便。除了与数据源直接绑定以外，我们还可以通过列绑定模板对 DataGrid 的列进行自定义，来按照我们设定的格式显示数据。

Java架构师必看

2021/03/22

3.4K0

Fiddler 在列表中显示图片尺寸

fiddler http

https://docs.telerik.com/fiddler/knowledgebase/fiddlerscript/customizesessionslist

卓越笔记

2023/02/18

4K0

网站添加显示IP信息图片

tcp/ip

根据访客ip自动生成一张包含多种信息的图片，包含：地理位置、当前日期、ip地址、终端操作系统、浏览器版本。

幻影龙王

2021/09/08

1.9K0

Android TextView中显示图片

android 图像处理

Android官方给我们提供的Html类下面的fromHtml方法当你需要转换的HTML代码是带图片的，比如<IMG/>，那么你就需要使用到重载的第二个方法了，这个方法里面有个ImageGetter对象，实现这个类会发现它回调了一个抽象getDrawable方法，在这个方法里，我们可以进行远程图片的下载获取，本地资源图片的获取等。第三个参数TagHandler是用来自定义一些不属于HTML代码的一些标签，一般我们不会去用到，直接置为null即可 package com.example.mytestdemo

欢醉

2018/01/22

1.6K0

为什么html在浏览器中不能显示图片_做html网页图片显示不出来

java https 网络安全 html

我遇到的问题是写了一个HTML程序，结果在网页上面不能显示，原因是图片路径放置错了。

全栈程序员站长

2022/09/20

5.8K0

在Google搜索结果中显示你网站的作者信息

https 网络安全 go

前几天在卢松松那里看到关于在Google搜索结果中显示作者信息的介绍，站长也亲自试了一下，目前已经成功。也和大家分享一下吧。

星哥玩云

2022/08/13

2.4K0

将jpeg图片显示在framebuffer上

视频处理

点击(此处)折叠或打开 /************************************************** * example5.c * Author: T-bagwell * * Compile:gcc -Wall example5.c -o example5 *************************************************/ #include <stdio.h> #inclu

用户3765803

2019/03/05

1.2K0

Vue中显示img图片，显示不出来怎么办？vue显示图片

java https vue.js 网络安全

1、近期在学习Vue中发现了一个难点就是显示图片<img> 试了很多办法都不行，有的还保错。后来我找了很多人，以及网上找资料终于被我给找到了。

全栈程序员站长

2022/08/31

9.8K0

WPF中图片剪裁并显示

wpf emgucv nuget xaml

XAML: <Window x:Class="WpfApp6.MainWindow" xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml" xmlns:d="http://schemas.microsoft.com/expression/blend/2008"

zls365

2020/12/29

1.1K0

修复miniblink某些网站图片不显示的bug

编程算法

bug的原因是网站使用了backface-visibility:hidden，导致新创建了一个PictureImageLayer，而我当时为了调试，把PictureImageLayer的blink接口层给删了个函数。所以新层的显示不出来。但加上了函数还是不显示图片，调试了下，TilingSetRasterQueueRequired::TilingSetRasterQueueRequired里根本的录制源根本就是个空的。继续调试，没有创建tile，再跟进，DisplayListRecordingSource::DetermineIfSolidColor里在录制完毕后竟然判断为是纯色录制源。最后才查清楚，原来我的skia ext部分，当时从另外个版本的chromium工程里拷过来，那个工程比较老，没重载AnalysisCanvas::drawImage。而这玩意是录制时候用来判断是否录制操作有绘制图片的。补上这两个bug即可。

龙泉寺扫地僧

2019/02/20

6570

结合ashx来在DataGrid中显示从数据库中读出的图片

asp actionscript 网站 android 编程算法

//---------------------------------------BindImage.aspx ----------------------------------------

Java架构师必看

2021/03/22

3.7K0

TextView显示html文件中的图片

html

fromHtml还有另一个重构： fromHtml(String source, Html.ImageGetter imageGetter, Html.TagHandler tagHandler) 而 ImageGetter imgGetter = new Html.ImageGetter() { @Override public Drawable getDrawable(String source) { Draw

欢醉

2018/01/22

4K0

Django 中图片的上传及显示

django 数据库 sql php python

在 Django 中，上传文件不同于普通服务器的上传方法，在普通服务器中只需要使用一个 Controller 来控制文件的上传即可完成，但是在 Django 中，则需要额外使用数据库资源来存储文件。本文将说明如何使用 Django 接收、保存并且返回图片。

Kindem

2022/08/12

3.4K0

将SparkSQL计算结果写入Mysql中

云数据库 SQL Server spark

编写代码 package com.itunic.sql import java.util.Properties import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.{SparkConf, SparkContext} /** * Create

天策

2018/06/22

3.1K0

Android在ImageView上直接显示网络图片

php 文件存储开源缓存

在原生的ImageView中，没有一个方法是可以直接显示网络的图片的，当我们经常需要显示网络图片时，每次都有一大堆的操作，这会很麻烦，今天就教大家在ImageView上轻松显示网络图片。

夜雨飘零

2020/05/06

6.2K0

用Elasticsearch存储图片并在Kibana中显示

存储 Elasticsearch Service 大数据 apache php

能用Elasticsearch来存储图片吗？有不少朋友都问过这个问题，Elasticsearch作为一个NoSQL数据库，一个搜索引擎，一个大数据存储系统，原则上来说，对于各种结构化，非结构化数据，文本类，非文本类数据都能够存储。即图片也是可以用来存储的，但现实中这种实际的操作方式是不常见的，因为对象存储等基础设施会是一个更低成本的选择。不过，考虑某些综合场景，比如，用户希望只搭建一套大数据系统来支撑不同的使用需求，那么Elasticsearch确实是比Hadoop生态这种包含非常多组件的系统要简单得多。

点火三周

2021/03/02

8.5K0

python识别批量网站中的图片

网站

实现方式：下载网页源码，在源码中识别包含图片url的标签，如<img>,<div>,<li>。由于对html了解较少，哪些标签可能含有图片是从查看多个网站的源码中总结出来的。

py3study

2020/01/20

1.4K0

Hugo 网站优化(6): 博客图片不能显示，全怪 Adblock。

https http 网络安全网站

原文链接: https://tangx.in/posts/2023/01/01/no-referrer-when-downgrade-image/

老麦

2023/02/25

7140

winfrom向窗体中拖放图片并显示

其他

首先要设置窗体的AllowDrop属性为true。然后在窗体的DragEnter事件中添加如下代码：调用自定义的显示图片的方法。

跟着阿笨一起玩NET

2018/09/19

9290

点击加载更多

相似问题

如何让gcc生成旋转指令？

让GCC在使用向量扩展时生成PTEST指令

gcc可以在没有交叉编译的情况下为Arm生成二进制文件吗

如何让GCC像ICC一样生成向量指令？

无法在没有主键的情况下为模型生成模块

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问Spark vs Hadoop用这个简单的例子？
EN