腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行?若有,原因为何?
apache-spark
、
hadoop
、
hdfs
Spark是用于计算
海量
数据的分布式
数据处理
引擎。假设我在
mysql
中存储了大量数据,我想对这些数据进行
处理
。Spark从
mysql
读取数据,并在集群节点本身上执行内存(或磁盘)计算。
浏览 3
提问于2021-03-25
得票数 0
1
回答
facebook如何存储和访问文本数据
mysql
、
facebook
由于facebook是大型
数据处理
系统的一个例子,我想知道如何
处理
这些
海量
数据。我知道他们使用
MySQL
作为核心数据库引擎,并使用‘Memcached’缓存数据和减少数据库访问。他们只是将其存储在
MySQL
数据库的某个表中,还是使用任何技术? 此外,如果任何人都能为像图像或视频这样的媒体提供有关其存储技术的信息,这将是一个额外的好处。
浏览 10
提问于2014-06-04
得票数 0
回答已采纳
1
回答
在Netty或Mina中支持P2P?
netty
、
p2p
、
mina
您好,我是开放的决定,选择Netty或Mina为我的TCP/UDP服务器,我是两个框架的新手,不知道他们中的任何一个支持(S) P2P转换,以便一些
海量
的
数据处理
可以更有效地
处理
?
浏览 5
提问于2015-06-15
得票数 0
2
回答
GWT中的
海量
数据处理
java
、
javascript
、
gwt
、
smartgwt
、
gwt-platform
我有一堆记录(大约10k),需要在客户端加密,然后使用RPC调用遍历网络。对于10k的记录,加密过程和遍历到服务器需要很长时间。有什么办法可以缩短时间吗?服务器在GoDaddy - US上,我正从印度访问。客户端机器配置:当前为4 2GB内存(实时内存可能较少,可能为1 2GB或2 2GB)服务器机器配置:4 2GBJava对象在列表和映射集合中被遍历。
浏览 1
提问于2012-02-08
得票数 0
2
回答
使用JSON将大量数据(可能以MB为单位)从服务器传输到客户端是个好主意吗?
json
实际上,由于服务器端的
海量
数据处理
,我面临着“内存不足”的问题,但现在我已经解决了这个问题,我使用CallbackRowHandler来
处理
数据块。这很好用。现在,我再次面临同样的“内存不足”问题,因为我正在向客户端传输
处理
过的数据。我正在考虑使用json将
处理
后的数据传输到客户端。请告诉我这是好的方法还是我走错了方向?谢谢你,吉蒙
浏览 1
提问于2012-04-18
得票数 0
2
回答
用
海量
数据处理
XML文件
java
、
xml
我正在
处理
一份低于要求的申请- 如何将数据分块,并将其作为流传递给XML解析。
浏览 10
提问于2010-03-19
得票数 2
1
回答
Apache Spark与MapReduce
apache-spark
、
hadoop
、
mapreduce
但想必,使用Spark,您无论如何都会在内存和磁盘之间移动数据,因此如果内存空间不足,您可以将一些数据移回磁盘,然后引入新数据进行
处理
。 基本上,还有没有真正的理由继续使用MapReduce?
浏览 0
提问于2018-05-02
得票数 0
2
回答
将数据从Cassandra查询导出到文件
cassandra
、
crontab
、
cassandra-2.0
、
datastax
、
cqlsh
但是由于大量的
数据处理
在写入文本文件的过程中被杀死。那么,在给定查询格式的情况下,导出
海量
数据的其他选择是什么呢?
浏览 2
提问于2016-03-08
得票数 0
2
回答
F# GPU编程与KDB相比,在
处理
数据时,什么是最快的?
f#
、
gpu
、
kdb
嗨,我想请教任何人的经验,什么是最具成本效益和效率的方式来
处理
海量
数据的F#图形
处理
器(例如使用C Nivida GPU api类型提供程序)编程与KDB的
数据处理
。在图形
处理
器方面,我计划使用关系数据库或mongodb之类的NoSQL数据库,使用单个表和2-3个其他表的简单连接。 有没有人知道这两种方法之间的任何指标或比较(主要是速度)?
浏览 0
提问于2013-02-08
得票数 4
回答已采纳
1
回答
使用python多进程在异步中启动大量依赖进程
python
、
process
、
multiprocessing
、
python-multiprocessing
问题:我有一个类似DAG(有向无环图)的结构,用于在机器上开始执行一些
海量
数据处理
。一些进程只能在其父
数据处理
完成后才能启动,因为存在多级
处理
。我想使用python多
处理
库在一台机器上
处理
所有的东西,作为第一个目标,然后扩展到使用管理器在不同的机器上执行。我以前没有使用python多
处理
的经验。有没有人能建议一下这是不是一个好的库呢?
浏览 6
提问于2017-06-28
得票数 0
2
回答
如何排序和删除重复的URL(文件包含大约100亿个URL)!
sorting
、
nlp
、
search-engine
、
bigdata
正如标题所说,如何对文件进行排序?如果你的PC内存只有2 2GB,但是有100亿个URL (假设最长的URL是256个字符)。
浏览 1
提问于2014-07-18
得票数 0
1
回答
哪一个是在多个设备上
处理
海量
数据的最佳数据网格?
javascript
、
datagrid
、
cross-browser
、
multilingual
哪个是最好的跨浏览器兼容的数据网格 of JavaScript,用于在多个设备(包括pc、移动、平板电脑)上进行
海量
数据处理
,具有最佳的功能和未来的开发方法?
浏览 3
提问于2015-07-27
得票数 0
1
回答
如何在客户服务器上安装Django应用程序而不暴露业务逻辑和db访问
python
、
django
、
django-rest-framework
问题是,应用程序将
处理
敏感的数据,有时甚至是访问受限的
海量
数据。所以我最初的想法是通过在他的内联网(只有localhost)的客户服务器上安装简单版本的网站来
处理
这种情况,所有的
数据处理
都可以在他的机器上完成,这样就不需要设置特殊的权限来从我的网站访问他的数据,也不需要托管所有的数据主要的
数据处理
函数将在cython中完成,因此客户只能看到编译后的代码。但是,如果客户服务器上的应用程序需要访问这些数据,如何对用户管理、日志记录和所有敏感内容隐藏我的主数据库?
浏览 2
提问于2016-11-15
得票数 1
1
回答
在事务性方法中,spring数据是如何清除特定实体的?
java
、
spring
、
hibernate
、
spring-data
、
transactional
那么,使用spring
数据处理
海量
数据的最佳方法是什么?也许spring数据不是解决这种问题的正确方法。
浏览 0
提问于2019-01-11
得票数 4
回答已采纳
2
回答
MySQL
海量
数据操作
处理
php
、
mysql
、
triggers
、
views
我在
处理
数据库中的大数据时遇到了以下问题: 基本上,每一秒来自数字传感器的所有测量数据都存储在数据库中。报告应该从所有数据中仅显示发生的更改,例如在时间X时,寄存器#1的值从0更改为1。我已经创建了一个过程,它可以只返回我需要的数据(更改),这节省了我在php中的大量
处理
,但最大的问题是,对于4天的当前数据,查询需要6*N秒才能完成,其中N是所选寄存器的数量。
浏览 1
提问于2012-09-14
得票数 1
回答已采纳
2
回答
如何
处理
巨大的表单
php
、
mysql
、
forms
我有一个问题,你是如何用php和
mysql
处理
来自表单的
海量
数据的?我有接下来的:大约50个字段(输入文本,checkboxex,select,textarea) 之后,我需要将此数据保存到
MySQL
数据库中,并需要选择和过滤此数据。你有实践吗?
浏览 0
提问于2012-07-30
得票数 6
回答已采纳
1
回答
Mysql
数组
数据处理
php
、
mysql
我有一个带有articles列的tags表。列中的每一行包含一个字符串,如下所示:或请注意,附加到"tag“的数字表示不同的单词。我需要比较每个行中的重复项,并返回单词被复制的次数,然后将其放入一个循环中,如下所示: tag0 (1次)tag1 (2次)tag3 (1次)tag6 (1次)<code>H 115</code>标签8 (1次)<代码>H 216<
浏览 2
提问于2011-04-05
得票数 0
回答已采纳
3
回答
将
海量
数据索引到Elasticsearch中
elasticsearch
我是elasticsearch的新手,并且拥有巨大的数据(
mysql
表中超过16k的大行)。我需要将此数据推送到elasticsearch中,但在将其编入索引时遇到问题。有没有办法让索引数据更快?如何
处理
海量
数据?
浏览 1
提问于2012-05-21
得票数 6
2
回答
使用df.replace可以用除np.nan/None以外的任何值替换pd.NaT
python
、
pandas
df.replace可以将pd.NaT替换为除np.nan/None以外的任何值 注意事项:我必须进行多个数据转换,在这些转换中,我将使用(‘’),它不能在NaT上工作,而且我不希望链式替换,因为它在
海量
数据处理
上有点昂贵
浏览 8
提问于2022-11-01
得票数 1
回答已采纳
3
回答
iis工作者进程内存使用与
处理
对象之间的关系?
c#
、
asp.net
、
entity-framework
、
iis
2.第二,如何在完成
数据处理
后强制iis工作进程释放内存?我没有写整行代码,因为我不想让问题复杂化,分散你对这个问题背后可能具有挑战性的概念的注意力。
浏览 5
提问于2019-09-15
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在本地搭建MySQL进行数据处理
python数据处理-正则表达式&mysql
从海量数据处理到大数据架构设计思想之-分而治之
思影数据处理业务三:ASL数据处理
十万数据处理
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券