腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
HSQLDB能
处理
几百万行吗?
、
、
我正在开发一个需要数据库
的
singler用户应用程序。大多数表
的
数据量
都是合理
的
,但也有一些表
的
数据量
可能会增长到数百万行。我
的
所有查询都不会返回
大
的
结果集。有人知道HSQLDB能否
处理
这么多行吗?
浏览 0
提问于2012-08-15
得票数 3
回答已采纳
2
回答
在Swift中
处理
大型数组
、
、
我有一个大约275,000个元素长
的
英文单词数组,我需要在用Swift编写
的
iOS应用程序中使用它们。但是,Xcode似乎无法
处理
如此
大
的
(3+ MB)文件。我该如何
处理
这么
大
的
数据量
?
浏览 14
提问于2018-08-10
得票数 4
2
回答
FPGA对内存
的
巨大需求
、
为了在FPGA中实现算法,我需要存储一个非常
大
的
常量矩阵。我计算过,我需要一个大小约为30Mbit
的
ROM存储器,所以FPGA
的
内存是不够
的
。我在考虑使用任何连接到FPGA
的
外部设备。有没有可能同时
处理
这么
大
的
数据量
? 谢谢!
浏览 1
提问于2017-01-11
得票数 0
2
回答
RPC是如何传输大二进制数据
的
?
、
、
如果我想使用RPC或组件技术传输数据,但
数据量
可能非常
大
,该如何
处理
这种情况?例如,我想要将一个文件作为参数传输到remote,但我不想将整个文件放入内存中进行传输。我该怎么办?
浏览 2
提问于2012-08-07
得票数 0
回答已采纳
2
回答
在python中将文件中
的
输入转换为列表
、
我用
的
是,c = [int(i) for i in data]但是对于非常
大
的
数据量
,
处理
时间太长了。输入
的
格式为,3785077570718573 ....
浏览 2
提问于2014-09-25
得票数 0
2
回答
有没有办法在不中断程序
的
情况下检查Python脚本
的
进度?
这段代码
处理
的
数据量
非常
大
,并且需要几个小时才能运行。 有没有什么方法可以在不停止程序
的
情况下检查代码
的
状态?
浏览 0
提问于2015-12-04
得票数 5
1
回答
为什么属于同一个任务
的
任务
的
持续时间在火花流中有很大
的
不同?
、
请看下面的图片,这24个任务属于同一个任务,每个任务
的
处理
数据量
基本上是相同
的
,用于gc
的
时间很短,我
的
问题是为什么属于同一个任务
的
任务
的
持续时间有那么
大
的
不同?
浏览 3
提问于2016-05-05
得票数 0
回答已采纳
1
回答
Perl反引号和管道之间
的
区别
我有一个可执行
的
工具,它返回以制表符分隔
的
数据作为输出,
数据量
非常
大
,并且希望该工具
的
输出作为Perl程序
的
输入进行进一步
处理
,从性能
的
角度来看,使用什么是首选
的
方法 @res=`mytool` 和
处理
@res 或者使用管道操作符来读取工具,同时返回结果,并对其进行如下
处理
: open(RES, "mytool |") or die "Couldn't for
浏览 34
提问于2020-06-24
得票数 3
5
回答
数据库如何
处理
内存无法容纳
的
数据表?
假设您有一个非常
大
的
表,比方说有几十亿无序
的
行,现在您想要为它建立索引以进行快速查找。或者,您可能要
大
容量加载它,并使用聚集索引在磁盘上对其进行排序。显然,当您
处理
这么
大
的
数据量
时,您必须停止假设您可以在内存中进行排序之类
的
事情(当然,在不使用虚拟内存
的
情况下,这会对性能造成很大
的
影响)。有人能给我一些关于数据库如何在幕后
处理
这样大量数据
的
线索吗?我猜有一些算法使
浏览 3
提问于2009-11-13
得票数 4
回答已采纳
1
回答
我们需要一个通过ActionMailer发送通知电子邮件
的
邮件客户端
、
在我们
的
Rails应用程序中,我们每天需要通过ActionMailer发送成千上万封电子邮件。这些将在我们
的
应用程序中收到用户交互时发送。Gmail Enterprise限制在每天2000,这对我们来说是不够
的
,因此我们不能使用它。
浏览 1
提问于2012-03-22
得票数 0
回答已采纳
7
回答
跨平台应用。需要建议
、
、
我需要开发一个在Mac,Windows和*nix上工作
的
应用程序。该应用程序将不得不
处理
相当
大
的
数据量
,并将不得不显示
大
图形(因此需要一些2d绘图)。我应该使用Java吗?wxWidgets?哦,出于好奇,如果我想为Web构建这个应用程序,你认为它
的
可行性如何?我们非常感谢您
的
任何建议。 谢谢
浏览 1
提问于2010-07-03
得票数 1
回答已采纳
1
回答
NHibernate:单个事务上
的
多个提交
、
、
我希望迭代一组对象并进行更改,然后分组提交这些更改,因为
数据量
可能非常
大
。当我这样做
的
时候,我得到了一个ObjectDisposedException。对于如何更好地
处理
这个问题,有什么建议吗?
浏览 0
提问于2014-01-03
得票数 2
1
回答
如何在数据
处理
过程中绘制数据
、
、
我正在使用Python将一个
大
的
(几GB) bin文件转换为csv格式,以便可以绘制结果数据。我做这个转换是因为bin文件不是绘图工具/模块可以理解
的
格式,所以需要一些解码/翻译。目前看来,Gnuplot是
处理
如此
大
的
数据量
的
最佳选择。 我想知道,是否有一种方法可以在
处理
数据时绘制数据图,而不是等待整个文件完成转换,然后运行Gnuplot?也许我可以完全绕过csv文件。到目前为止,我读到
的
所有内容
浏览 0
提问于2016-06-15
得票数 1
3
回答
根据数据作业大小启动kubernetes pod内存
、
、
、
、
有没有办法根据数据任务
的
大小动态调整Pod
的
内存大小(我
的
用例)?我已经考虑过按
数据量
使用切片,即每10,000行切片,我们将知道
处理
固定数量
的
行所需
的
内存。但我们正在尝试按时间进行聚合,因此需要时间切片。
浏览 4
提问于2018-06-28
得票数 6
1
回答
Tensorflow中有没有等同于torchsummary
的
东西?
、
、
、
我使用GPU在一个大小为55 on
的
数据集上运行一些非常
大
的
深度学习模型。如果我使用一个大于1
的
批
处理
大小,我会得到一个资源耗尽错误。即使批
处理
大小为1,我也会得到分割错误。GPU内存为10 of,服务器具有32 of
的
RAM。 有没有办法让我知道GPU中
的
数据量
(批
处理
大小为1)会有多大?我正在使用tf.Keras来拟合模型。
浏览 32
提问于2021-08-10
得票数 0
1
回答
大型连接
的
最佳实践-仓库或外部计算(例如火花)
、
、
、
我正在
处理
一个需要非常
大
的
连接
的
问题。连接本身非常简单,但我正在
处理
的
数据量
非常
大
。我想知道很大
的
连接,是否有一种较好
的
技术类型。例如,它是更有效
的
数据仓库(如雪花)还是在其他MPP系统如星火?假设我有一张像这样
的
桌子:我正在
处理
一些逻辑,它需要具有相同名称
的
帐户对。要找到具有相同帐户
的
对帐户,我可以很容易地执行以下操作:
浏览 0
提问于2022-02-24
得票数 2
1
回答
如何设置最佳配置值-触发时间,maxOffsetsPerTrigger -火花结构化流读取从卡夫卡消息?
、
、
、
我有一个结构化
的
流媒体应用程序读取来自Kafka
的
消息。每天
的
信息总数约为180亿条,每分钟
的
峰值信息计数为12,500,000条。最大消息大小为2KB。如何确保我
的
结构化流应用程序能够
处理
如此
大
的
数据量
和速度?基本上,我只想知道如何设置最佳触发时间、maxOffsetsPerTrigger或任何其他配置,从而使作业顺利进行,并能够
处理
故障和重新启动。
浏览 2
提问于2019-06-17
得票数 5
1
回答
如何正确地将数百万个文件加载到RDD中
、
我有一个非常
大
的
json文件集(超过一百万个文件),我想和Spark一起工作。 但是,我以前从来没有尝试过将这么多数据加载到RDD中,所以我实际上不知道是否可以这样做,或者甚至不知道是否应该这样做。在Spark
的
RDD(s)中
处理
这些
数据量
的
正确模式是什么?
浏览 0
提问于2016-01-13
得票数 0
1
回答
我
的
MongoDB需要Hadoop吗?
、
、
我对MongoDB
的
用法非常简单。我只有一个副本集,并且在不使用Map Reduce
的
情况下
处理
一些基本查询。此外,如果我在MongoDB中使用Map Reduce并连接Hadoop,性能将如何提高?
浏览 0
提问于2014-04-25
得票数 0
9
回答
SSL真的值得吗?
、
我想知道是否应该在我
的
服务器和客户端之间添加一个SSL层。我没有
处理
任何机密数据,但有人为了获取情报(顺便说一句,这是一场游戏)想要破解传输
的
可能性很小。现在,与小型网站相比,要
处理
的
数据量
是相当
大
的
,虽然增加
的
安全性可能很好,但最有可能
的
黑客是用户自己,所以我觉得SSL是浪费时间,但我想听听其他人
的
经验。 谢谢
浏览 0
提问于2008-11-25
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌最新AI大语言模型数据量扩充5倍
大数据量引出的bug
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践
python数据处理实战-自动统计mysql数据库数据表每天数据量
千亿级数据量的Kafka深度实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券