腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7348)
视频
沙龙
1
回答
减少在python中处理
大
矩阵时的RAM过载
python
、
numpy
、
scipy
、
hdf5
、
pytables
我目前所在的实验室使用iPython Notebook和Python2.7进行
数据处理
。我们处理由285*384像素相机拍摄的照片,不同的参数根据我们搜索到observe.Therefore的内容而变化,我们需要处理
大
矩阵,随着
数据处理
的进行,矩阵分配的累积使得
内存
/交换空间被填满,因此我们不能再前进了因此我们分配了大量的
大
矩阵,这导致了RAM /交换的完成。此外,我们还显示了一些与其中一些矩阵相关的图片。当然,随着
数据处理
的深入,我们可以释放矩阵,但我们需要能够更改
浏览 0
提问于2014-07-01
得票数 2
3
回答
如何在项目中分析
内存
使用情况?
c#
是否有任何好的、免费的工具来分析C#中
内存
的使用情况?我有一个可视化项目,它使用相当
大
的集合。我想检查这个项目的哪些部分--在
数据处理
方面,还是在可视化方面--使用大部分
内存
,这样我就可以优化它了。
内存
使用量相当
大
,例如处理大小为35 MB的文件--我的程序使用的
内存
略多于250 MB。
浏览 7
提问于2010-04-13
得票数 8
回答已采纳
1
回答
Google云功能-
内存
限制超过(2GB) -大量
数据处理
google-cloud-platform
、
google-cloud-functions
我有一个用Python编写的大量
数据处理
脚本。每次脚本处理一个作业时,都会使用大约500 is的RAM。(原因是脚本从一个非常
大
的数据库中查找历史记录。)处理脚本还需要大约3分钟的时间来运行每一行。当我们调用该函数同时处理三个作业时,该函数工作正常,
内存
使用量约为1500至1600 is;一切都很好。 但是,当我们试图调用该函数同时处理10个作业或100个作业时,该函数会随着
内存
的增加而终止。我们在文档中注意到,函数在任何时候的
内存
限制都是2GB。可以肯定地说,我们不能将其增加到10‘t、100’t或10
浏览 3
提问于2019-09-27
得票数 1
回答已采纳
1
回答
Azure Analysis在为表创建分区时达到了最大允许
内存
分配
azure
、
ssas-tabular
、
azure-analysis-services
服务器
托管在Azure上,
内存
为100 on (最高层)。我们成功地创建了20个分区中的5个,但是当我们试图创建第六个分区时,我们得到了以下错误:我在中也看到过类似的问题,但我不认为这是同一个问题。另一件有趣的事情是,我们用相同类型的
数据处理<
浏览 1
提问于2017-09-13
得票数 2
回答已采纳
3
回答
超大型HTTP请求与许多小请求
json
、
client-server
我需要一个2D数组(如Json)从
服务器
发送到客户端。它的大小大约是400x400,每个条目大约有4个字符的文本。因此,它大约有640 of的数据。 以下哪一种极端方法更好?
浏览 1
提问于2010-06-29
得票数 49
回答已采纳
1
回答
访问KeyedStream中的子任务度量
apache-flink
、
flink-streaming
、
flink-state
我希望将大量数据加载到Flinks状态后端(RocksDB)中,并使用该
数据处理
事件(例如,在CoProcessFunction中)。数据比TaskManager的
内存
大得多。密钥的数据块可能非常
大
,如果每次需要从状态后端加载数据,则会对延迟产生负面影响。因此,我希望将频繁键的数据本地保存在CoProcessFunction中。但是,状态后端中的总数据比TaskManager的
内存
大
,因此不可能为每个键在本地保持相应的数据块与状态后端之间的数据块。为了解决这个问题,我需要知道SubTask的当前
内
浏览 1
提问于2022-09-30
得票数 0
回答已采纳
3
回答
小型
服务器
上的大
内存
使用量(优化问题)
php
、
performance
、
memory
我们的一个客户有一个网站,它获得了相当
大
的流量,生成的指标文件大小约为3-4兆字节。这个应用程序目前一次分析三个文件,每个文件是一个不同的时间集合。处理加载此数据的
数据处理
器对象使用了大约50MB的
内存
。目前,PHP
内存
限制设置为100MB。不幸的是,此应用程序所在的
服务器
太旧,无法处理大量的
内存
增加。
浏览 1
提问于2009-10-07
得票数 0
1
回答
哪种方式处理起来更快?
php
、
mysql
、
json
lil背景信息我的第一个版本目前有大约50列,每个单元一列,一个用户丢失了多少/离开了多少,还有其他一些零碎--如果用户没有真正丢失一个单元或者没有丢失该类型的一个单元,这些列通常都是不使用的。现在,如果我要对数组进行JSON编码,然后按字面意思将其放入数据库中( 2)假设我需要将这些数据返回头版,并显示100个结果(只需要一个摘要,所以在第
浏览 2
提问于2011-02-04
得票数 0
回答已采纳
1
回答
用于交互式虚拟化的side显示海量数据是否适用于分析工具?
python
、
dashboard
、
interactive
、
crossfilter
我知道
服务器
端(NodeJS)呈现有一种可能的方法,可以利用交叉过滤器库,但作为后端,计划是使用Python。 是否有更好的方法来做到这一点,这样我们就不必在数据的交互和客户机/
服务器
端处理之间进行权衡了?
浏览 3
提问于2016-05-19
得票数 0
1
回答
Dask:将中间结果保存在磁盘上而不是
内存
中
python
、
pandas
、
dask
我正在构建一个
数据处理
管道。数据相当
大
:表示高频采样的传感器数据的数据帧。在管道过程中,我有一个中间结果,即对后续转换所需的数据进行转换。使用Dask,我发现中间转换必须在每个后续转换中重新计算。我知道.persist(),但是这会将结果保存在
内存
中,而由于数据的大小,这不是一种选择。
浏览 2
提问于2022-06-28
得票数 1
回答已采纳
1
回答
当数据库中有大量数据时Odoo速度慢的原因
database
、
performance
、
postgresql
、
odoo
我们在Postgresql中观察到了一个问题,因为它不使用CPU的多核心来进行单个查询。例如,我在cpu中有8个核心。我们在stock.move表中有4000万个条目。当我们在单个数据库连接中应用大量查询来生成报告和在后端观察时,我们看到只有一个核心是100%被使用的,因为所有其他7个都是免费的。由于该查询执行时间较长,而且我们的odoo系统运行速度较慢。而问题在postgresql核心中。如果无论如何,我们可以在两个或多个内核之间共享一个查询,那么我们可以在postgresql查询执行中获得性能提升。
浏览 3
提问于2015-07-02
得票数 5
1
回答
Ubuntu20.04上的CodeIgniter 4
server
、
apache2
、
php
、
virtualhost
我已经在/var/www/html/app目录中安装了我的ci4应用程序。然后在/etc/apache2/site中创建codeigniter.conf文件-可用目录,并编写如下代码 ServerAdmin admin@myciapp.local ServerName myciapp.local
浏览 0
提问于2021-03-06
得票数 0
回答已采纳
2
回答
SQLite
内存
作为web应用程序主数据库的可行性
sqlite
、
in-memory-database
有没有人在运行SQLite的
内存
数据库作为他们的web应用的主数据库?我正在努力了解这种设置的可行性/愚蠢之处。如果我有一个并发用户少于500人的web应用程序和一个较小的数据库(在0到4 GB之间),那么将整个数据库作为应用程序的主数据库在
内存
中运行SQLite的可行性是什么?在
内存
中运行显然会使ACID的“持久性”方面变得困难,但使用,似乎可以使
内存
中的数据库与基于文件的数据库保持同步。我在想,当用户执行Save/ update /Delete命令时,它可以立即更新
内存
中
浏览 0
提问于2011-12-21
得票数 0
2
回答
如何选购云
服务器
?
ICP备案
、
云服务器
、
5折上云
电脑盲一个,请教以下问题:1 更换电脑的IP地址,主要是用来做亚马逊多
账号
操作的3 是不是可以用来建网站,不想备案 [附加信息
浏览 739
提问于2018-07-18
1
回答
如何将本地PyCharm连接到安装在
服务器
上的python?这有可能吗?
python
、
server
、
pycharm
、
connect
我的机器上有PyCharm (8GB
内存
)。我需要大量的
数据处理
,并希望使用一个机构提供的
服务器
。这个
服务器
安装了Python,但没有任何IDE。所以我看到的只是一个CUI,很难在这样的environment.Also中编程,我不能要求
服务器
管理员为我在
服务器
上安装软件。那么,如何将本地PyCharm连接到安装在远程
服务器
上的python?
浏览 1
提问于2020-01-14
得票数 1
回答已采纳
1
回答
DC/OS上的Mesos主配置
mesos
、
mesosphere
、
dcos
我看到DC/OS建议使用m3.x大型实例,但我不知道为什么我需要4处理器和15 no
内存
,当主进程只运行在: ->中没有主程序执行的实际
数据处理
时。 我可能会使用m3.size或r3
大
型实例。
浏览 3
提问于2016-05-17
得票数 2
回答已采纳
1
回答
jOOQ批处理插入不一致性
java
、
postgresql
、
jooq
在jOOQ (v3.14.4)中使用批处理插入时,我在查看PostgreSQL (v12.6)日志时注意到了一些不一致性。在执行context.batch(<query>).bind(<1st record>).bind(<2nd record>)...bind(<nth record>).execute()时,日志显示记录实际上是逐个插入的,而不是一次性插入的。在执行过程中,context.insert(<fields>).values(<1st record>).values(<2nd record>)..
浏览 1
提问于2021-02-21
得票数 1
回答已采纳
1
回答
根据特定值导入CSV文件
r
、
csv
、
memory
嗨,Stackoverflow社区,impordata <- read.csv("big_file.csv") impordata <- subset(impordata
浏览 0
提问于2019-03-12
得票数 1
4
回答
我应该为我的Python库使用什么后备存储引擎?
python
、
storage
我正在用Python编写一个
数据处理
库,它将来自各种来源的数据读取到
内存
中,对其进行操作,然后将其导出为各种不同的格式。我正在将这些数据加载到
内存
中,但我正在处理的一些数据集可能特别
大
(超过4G)。
浏览 0
提问于2010-02-13
得票数 4
回答已采纳
1
回答
如何将图片加载到iphone系统缓存中?
iphone
、
objective-c
、
uitableview
、
scroll
、
uiimage
我有一个tableView,里面有一些
大
图片。我正在努力提高非常不稳定的滚动性能。如果我使用ImageNamed加载图像,一开始滚动是不稳定的,但在查看图像之后,滚动是平滑的。
浏览 0
提问于2010-07-09
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
海量涉税数据的11项处理技巧
短视频风口,视频网站需要什么样的服务器?
华为鲲鹏920处理器发布
企业建站首选云产品是什么?有哪些应用场景?
内存的 DDR3 ECC,这是指什么呢?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券