腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
处理大型文件的更好
方法
algorithms
、
python
、
file-handling
、
buffers
我有一个巨大的csv文件,我必须处理这个文件并做一些
数据处理
。现在,我正在缓冲区中读取/加载文件,然后进行
数据处理
工作。在文件非常
大
的情况下,我发现这种
方法
效率低下。
浏览 0
提问于2020-08-15
得票数 -4
1
回答
从ASP.NET调用异步
方法
调用
asp.net
、
asynchronous
文件当前被上传到服务器,
方法
被调用(在app_code中),最终(通过web
方法
)调用DTS包来将数据加载到数据库中并对其执行一些验证。客户端指定不需要等待DTS包执行(执行时间少于5分钟),因此我似乎需要异步调用该
方法
。当此任务正在运行时,用户可能会注销或关闭浏览器窗口,因此我相信我无法在asp.net线程上运行此任务。有没有人能给我一些指导,告诉我进行这项工作的最佳
方法
?
浏览 1
提问于2010-07-20
得票数 0
回答已采纳
3
回答
Excel‘
大
’
数据处理
跟踪
vba
、
excel
上一个问题(初始级别优化):Excel“
大
”
数据处理
与查找“ 代码用途:根据新信息(由不同的宏提供)重新计算每列500 000行的25列。
浏览 0
提问于2017-03-22
得票数 4
回答已采纳
2
回答
内存中用于缓存大型文件的Python文件
python
、
python-3.x
、
caching
、
in-memory
我正在做非常
大
的
数据处理
(16 am ),为了处理磁盘延迟,我想尝试通过将整个文件存储在RAM中来加速操作。 我查看了现有的库,但是找不到任何能给我提供接口灵活性的东西。理想情况下,我希望使用集成的read_line()
方法
,使其行为类似于标准的文件读取接口。
浏览 8
提问于2022-07-19
得票数 0
回答已采纳
1
回答
“部分数据负载”术语
terminology
、
loading
、
data
、
file-format
在我的例子中,我有一个非常
大
的文件,即“环境A”。为了改进我的
数据处理
(并阻止我的PC崩溃),我只一次加载这个环境的一小部分。我不会将数据分割成不同的文件。是否有一个术语更简洁地描述了这种
数据处理
技术,而不是“部分负载”?
浏览 0
提问于2022-10-18
得票数 0
1
回答
Spyder取消打开大变量而不重新启动整个程序
python-3.x
、
spyder
我在Spyder公司和大型Pandas
数据处理
公司合作。偶尔,我会意外地单击变量资源管理器窗口中的大型数据文件,Spyder在尝试打开时会挂很长时间。我发现停止这一过程的唯一
方法
是完全关闭Spyder,然后重新打开。 取消查看变量的请求而不关闭程序?设置默认设置,以便Spyder只显示前1000行非常
大
的对象,如dataframes?
浏览 2
提问于2017-10-17
得票数 5
1
回答
jOOQ批处理插入不一致性
java
、
postgresql
、
jooq
在jOOQ (v3.14.4)中使用批处理插入时,我在查看PostgreSQL (v12.6)日志时注意到了一些不一致性。在执行context.batch(<query>).bind(<1st record>).bind(<2nd record>)...bind(<nth record>).execute()时,日志显示记录实际上是逐个插入的,而不是一次性插入的。在执行过程中,context.insert(<fields>).values(<1st record>).values(<2nd record>)..
浏览 1
提问于2021-02-21
得票数 1
回答已采纳
1
回答
Python Jupyter Notebook无法打开文件,可能是输出过大
python
、
jupyter-notebook
我使用python处理
大
的.csv文件,在
数据处理
过程中我可能有太多的打印。现在我不能再打开这个文件(345MB)。几秒钟后,我得到错误代码"SBOX_FATAL_MEMORY_EXCEEDED“。有没有办法以某种方式删除输出或另一种解决
方法
?复制现有代码对我来说已经足够了,但它崩溃得太快,以至于我甚至无法做到这一点。如果您需要更多信息,请告诉我。 谢谢
浏览 115
提问于2021-05-13
得票数 0
回答已采纳
2
回答
Bigquery价格变动?
google-bigquery
如果我在查询中重用相同的子查询,这是新的
数据处理
,而不管它是同一个子查询呢?这能以任何方式优化吗?bigquery不缓存它的数据吗? 是否有用于
数据处理
的最小大小?关于3)我在
数据处理
方面有这么
大
的问题(这就是我问所有问题的原因)。我的整个数据集大约有150 My
大
,而我的每个查询的DP大小却
大
3倍?
浏览 10
提问于2013-04-22
得票数 5
回答已采纳
1
回答
我怎样才能加快GCP的数据采集(Datapipeline)?
google-cloud-platform
、
google-cloud-data-fusion
大约300吨的数据正在使用Google平台数据集(选项: dev)传输到
大
查询中。感谢您的阅读。
浏览 1
提问于2020-10-19
得票数 2
回答已采纳
2
回答
用于处理大数据的Python“按小时过滤时间戳日志”
python
、
python-2.7
、
python-3.x
24小时,每个键(小时)映射值来存储事件数,但是这里我使用了if 'T01' in item[2]: until if 'T24' in item[2]:,我需要24 if语句,有人有解决这个问题的聪明
方法
吗
浏览 0
提问于2017-01-15
得票数 0
回答已采纳
3
回答
用vuex分离数据
javascript
、
vue.js
、
vuex
我用我所知道的两种方式实现了它: 存储这些数据的首选
方法
是什么?
浏览 0
提问于2017-09-22
得票数 6
回答已采纳
1
回答
首先从Java
方法
返回,然后再进行处理
java
我必须为for服务编写一个java
方法
。java
方法
将采用很少的参数,然后开始一些耗时的
数据处理
。在后台进行
数据处理
的同时,从
方法
返回uniqueId的最好
方法
是什么?使用线程是个好主意,还是有其他解决方案呢?params) { String uniqu
浏览 0
提问于2015-02-16
得票数 0
1
回答
使用循环将Oracle
大
容量收集到集合
oracle
、
plsql
、
bulk-collect
在这一页中,他们提到: 当您使用
大
容量收集和集合从游标中获取数据时,您不应该依赖游标属性来决定是否终止循环和
数据处理
。
浏览 1
提问于2017-08-21
得票数 1
回答已采纳
6
回答
多线程数据工作的推荐语言
python
、
multithreading
、
r
现在,我使用Python和R的组合来满足我所有的
数据处理
需求。但是,我的一些数据集非常
大
,并且会从多线程处理中受益良多。对于这种类型的
数据处理
,最好的语言/实现是什么?
浏览 0
提问于2010-08-18
得票数 6
回答已采纳
1
回答
Spring RESTful web服务.
大
容量
数据处理
spring
、
rest
、
spring-boot
、
spring-batch
你能提出什么是最好的
方法
来实现这一点吗? 存储过程是否可能比上述两个选项更合适和更好地执行(猜测否!)请您帮助一些至少与存储过程一样好的
方法
,以及如何根据建议的解决方案进行水平缩放。
浏览 0
提问于2016-05-30
得票数 2
回答已采纳
1
回答
使用ajax json jquery的服务器端搜索
c#
、
ajax
、
asp.net-mvc
、
json
我正在检索用户列表,并在
大
表中呈现这些列表。我已经实现了自定义分页。现在我想实现服务器端的搜索和过滤。我在考虑将文本框放在每一列的顶部,以获取用户输入,例如用户名,并使用ajax将这些
数据处理
到mvc控制器,在mvc控制器中,我将根据用户输入检索数据,并使用json在jquery弹出窗口中显示这些数据。这些解决方案是正确的
方法
,或者你可以向我推荐一些其他的解决方案。 谢谢
浏览 0
提问于2012-09-01
得票数 0
回答已采纳
3
回答
阻止ruby on rails 3解析JSON post
ruby-on-rails
、
ruby-on-rails-3
、
json
、
http
、
post
我在Ruby on Rails 3中有一个控制器
方法
,它接受application/JSON作为内容类型。这一切都符合预期,但我实际上不希望rails自动解析POST请求正文中的JSON。此
方法
充当网关,只是将信息穿梭到队列中,并且可能相当
大
。我不想浪费时间将
数据处理
到@_params中,因为这是不必要的。
浏览 1
提问于2012-04-18
得票数 18
回答已采纳
1
回答
关于代号为one的数据存储的最佳
方法
codenameone
我想知道我是否可以使用Storage类来管理数据对象,如对象列表等。Storage类的限制是什么?什么时候需要使用sqlLite?谢谢
浏览 1
提问于2014-01-24
得票数 2
1
回答
BigQuery中的DML操作(定价、每日限制和最佳实践)
google-cloud-platform
(https://cloud.google.com/bigquery/pricing)更新和删除操作的
数据处理
成本是多少?它是否与查询/提取成本(5美元/TB)相同?您会建议在
大
查询中经常使用“更新和删除”操作吗?还是有其他有效和成本效益高的
方法
?提前谢谢。
浏览 0
提问于2018-09-19
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
TAMiii量热数据处理方法
掌握数据处理的新方法!
搭建自己数据处理的方法体系
数据处理找关系式方法讲解
SPA大赛:数据处理经验以及特征选择方法
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券