开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >关于地图/约简概念的几个问题

问关于地图/约简概念的几个问题
EN

Stack Overflow用户

提问于 2012-02-21 03:12:58

回答 1查看 149关注 0票数 0

为了提高我对大数据处理技术的理解，我一直在阅读地图/还原技术，但我对以下几点还不太清楚：

在巨大的数据集上操作时，map函数不是仍然很慢吗?比如说，10个工作人员/线程/机器/cpus/什么的？例如，如果数据集是10亿条记录，这意味着每个工作人员仍然需要迭代超过1亿条记录，而且转换仍然需要存储在某个地方，以便将数据因子上的processing.
How do索引存储到映射/减少方案(如果有的话)？

。

作为一个额外的问题，我想要做的是在一个数据集上生成一个实时(<100 is响应时间)搜索解决方案，该数据集有2,000万到5,000万条记录，结果可以在1-3个字段上排序，并使用嵌套、分组和/OR查询查询大约20-30个不同的字段。地图/缩减可能是我所做的最好的方法吗？

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2012-02-21 03:33:20

map函数将提取数据子集(在最终的输出格式中)，减少函数将对其执行该子集。由于map是提取的，因此有理由期望索引将是执行速度的一个主要因素。任何时候，当你看到数十亿的记录，就需要适当的优化和适当的平台，以保持它们的及时性。

映射函数的输出将需要存储在易于操作的地方，这是不可避免的。

Map/Reduce为您提供了将搜索分割成更小、更易于管理的块的机会，因此适合您的任务。请记住，除非您使用多个系统，简单地向任务中添加线程可能会适得其反，因为这将增加为它们提供服务所需的上下文切换。我不会为每个系统分配比物理内核数量更多的线程，同时也为延迟做好准备，而线程则争夺磁盘访问或NIC访问。

你面前有一项相当艰巨的任务，我想看看其他人是如何实现这样的系统的，看看我是否能够重用其中的一个，而不是自己去做。如果这是一次智力锻炼，那么我希望你能在某个地方的博客文章中分享这些考验、磨难和结果。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/9376545

复制

相关文章

python dropwhile跳过开头的几行

from itertools import dropwhile with open('/etc/passwd') as f: ... for line in dropwhile(lambda line: line.startswith('#'), f): ... print(line, end='') from itertools import islice items = ['a', 'b', 'c', 1, 4, 10, 15] for x in

用户5760343

2019/09/30

1.7K0

pythoncharm注释快捷键_多行注释以什么开头

https java 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/174489.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/27

1.6K0

pythoncharm注释快捷键_多行注释以什么开头

为什么浏览器的用户代理字符串以 Mozilla 开头?

windows 网站 windows server

为什么浏览器的用户代理字符串（user-agent string）以 Mozilla 开头？最早流行的浏览器是 NCSA Mosaic，它称自己为 NCSA_Mosaic/2.0 (Windows

前端教程

2018/03/29

1.4K0

为什么浏览器的用户代理字符串以 Mozilla 开头?

在文件每一行开头增加字符串

首先，使用vim 打开某txt文件，输入冒号，并输入%s/^/，之后输入要添加的字符串即可

DoubleV

2022/03/25

1.1K0

python字符串匹配开头_对python 匹配字符串开头和结尾的方法详解

http php python https 网络安全

1、你需要通过指定的文本模式去检查字符串的开头或者结尾，比如文件名后缀，URL Scheme 等等。检查字符串开头或结尾的一个简单方法是使用str.startswith() 或者是str.endswith()方法。比如：

全栈程序员站长

2022/09/13

2.8K0

原理分析：使用 dd 跳过开头若干字节快速拷贝文件

block cat count size txt

　　计算机中每一次向硬盘读取和写入数据，无论读多小的数据量，都至少需要花一段常数时间（称为overhead）。（就像你去超市买鸡蛋一样，无论你一次只买一个，还是一千个，你都至少要花从家走到超市，再从超市走回家的时间。）

Miigon

2022/10/27

1.2K0

ES6字符串模板多行清除行头空格制表符

编程算法 ecmascript 正则表达式

对于多行文本我肯定优先考虑用 ES6字符串模板来实现，直接使用的效果并不是很符合想要的。

CRPER

2019/11/29

1K0

php用空格分隔字符串,分割字符串空格[通俗易懂]

javascript 腾讯云开发者社区 python java

String[] data = s.split(“@”); // 以@分割字符串，获得@后的值。

全栈程序员站长

2022/11/16

6.3K0

Java 多行字符串

java 编程算法 jdk ide

在本文中，我们来说说 Java 的多行字符串（multiline strings ）。

HoneyMoose

2022/08/08

4.2K0

python 字符串开头结尾匹配

http php python

filename = 'spam.txt' filename.endswith('.txt') True filename.startswith('file:') False url = 'http://www.python.org' url.startswith('http:') True 或者正则 import re url = 'http://www.python.org' re.match('http:|https:|ftp:', url) <_sre.SRE_Mat

用户5760343

2022/01/10

1.7K0

php删除字符串的空格

https java 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/105882.html原文链接：https://javaforall.cn

全栈程序员站长

2022/08/09

3.6K0

字符串：替换空格

c++https github 网络安全 git

示例 1：输入：s = "We are happy." 输出："We%20are%20happy."

代码随想录

2020/09/10

4.6K0

带空格的字符串反转

就是输入一段文本，然后让你实现字符串反转。肺炎严重，假期延长，闲的不得不自主学习，然后就日常刷水题。第一次的方法，简单易懂，就是时间超限了。TLIM #include<bits/stdc++.h> using namespace std; stack<string> st; int main(){ string s; cin>>s; reverse(s.begin(),s.end()); st.push(s); while(getchar() != '\n'){ cin>>s; re

杨鹏伟

2020/09/11

1.3K0

JS去除字符串的空格

JS去除字符串前后空格 //去前后空格 //var LO = data.replace(/(^\s*)|(\s*$)/g, ""); //var LA = data.replace(/(^\s*)|(\s*$)/g, ""); JS去除字符串所有空格 //直接去除所有的空格 var LL = data.replace(/\s+/g,""); 在Kettle做数据清洗中用到的： //Script here //去前后空格 //var LO = LONGITUDE.replace(/(^\s*)|(\s*

手撕代码八百里

2020/07/28

8K0

python 匹配字符串开头和结尾

https java 网络安全编程算法

1.你需要通过指定的文本模式去检查字符串的开头或者结尾，比如文件名后缀，URL Scheme 等等。检查字符串开头或结尾的一个简单方法是使用str.startswith() 或者是str.endswith()方法。比如：

全栈程序员站长

2022/09/16

1.3K0

算法-字符串替换空格

chaibubble

2018/01/02

2.4K0

android空格字符串_v1d空格复制

java https 网络安全

  ==   ==   == no-break space （普通的英文半角空格但不换行）

全栈程序员站长

2022/09/30

8240

关于字符串切割空格

注意: 不要在split方法中写" ", 这样只能匹配到一个空格 String s = "hello world you"; String[] split = s.split("\\s+"); for (String s1 : split) { System.out.println(s1); }

乐心湖

2020/07/31

1.1K0

python 字符串去空格

编程算法 python java https

1、lstrip：删除左边的空格这个字符串方法，会删除字符串s开始位置前的空格。

全栈程序员站长

2022/09/03

2.6K0

Python字符串开头或末尾匹配

当你需要通过指定的文本模式去检查字符串的开头或者结尾的时候，比如文件名后缀，URL Scheme等等。

后场技术

2020/09/03

1.8K0

相似问题

在多行开头添加空格

443

sscanf跳过开头的空格

10

匹配以空格开头的多行

12

删除多行字符串变量中每一行开头的空格。

55

字符串开头的跳过模式

22

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例