腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
用
Java
构建
大
容量批量
数据处理
工具
java
、
jdbc
、
etl
我正在尝试使用
Java
构建一个ETL工具。ETL工具用于对大量数据(包括关系数据和其他类型的数据)进行批处理、写入、更新操作。我发现很难选择正确的框架/工具来完成这项任务。我还不知道像Spring这样的框架,我只知道核心
Java
。 最近,我做了很多谷歌,但如果你能提供一些“第一手”的意见,我会很感激。
浏览 7
提问于2014-12-09
得票数 2
回答已采纳
1
回答
处理大型文件的更好方法
algorithms
、
python
、
file-handling
、
buffers
我有一个巨大的csv文件,我必须处理这个文件并做一些
数据处理
。现在,我正在缓冲区中读取/加载文件,然后进行
数据处理
工作。在文件非常
大
的情况下,我发现这种方法效率低下。
浏览 0
提问于2020-08-15
得票数 -4
3
回答
Excel‘
大
’
数据处理
跟踪
vba
、
excel
上一个问题(初始级别优化):Excel“
大
”
数据处理
与查找“ 代码用途:根据新信息(由不同的宏提供)重新计算每列500 000行的25列。
浏览 0
提问于2017-03-22
得票数 4
回答已采纳
1
回答
首先从
Java
方法返回,然后再进行处理
java
我必须为for服务编写一个
java
方法。
java
方法将采用很少的参数,然后开始一些耗时的
数据处理
。在后台进行
数据处理
的同时,从方法返回uniqueId的最好方法是什么?使用线程是个好主意,还是有其他解决方案呢?
浏览 0
提问于2015-02-16
得票数 0
5
回答
内存不足的
java
-堆空间
java
、
tomcat
、
out-of-memory
我正在用jsp/servlet开发web应用程序,我对netbeans和
Java
有一个问题。我的程序需要
大
的
数据处理
。现在我的问题是,我正在构建WAR文件,直接部署并在我的另一台机器Tomcat中运行,用于演示,在这里,我面临着同样的问题--
java
出内存错误堆空间--我也尝试过使用 环境变量集CATALINA_OPTS
浏览 7
提问于2012-09-11
得票数 5
回答已采纳
1
回答
“部分数据负载”术语
terminology
、
loading
、
data
、
file-format
在我的例子中,我有一个非常
大
的文件,即“环境A”。为了改进我的
数据处理
(并阻止我的PC崩溃),我只一次加载这个环境的一小部分。我不会将数据分割成不同的文件。是否有一个术语更简洁地描述了这种
数据处理
技术,而不是“部分负载”?
浏览 0
提问于2022-10-18
得票数 0
3
回答
如何创建
Java
Shell命令(不是如何使用
Java
运行shell命令)
java
、
bash
、
shell
、
deployment
、
terminal
我刚刚完成了一个终端程序,不知道如何正确地部署它,以便可以通过bash执行:最好的情况下,我只能
java
-jar /path/to/myjavaprogram问题是当我试图运行它时,它不允许我输入选项。以前部署过终端应用程序的
java
人员有什么建议吗?我不想在
浏览 3
提问于2015-02-05
得票数 0
6
回答
Java
数据处理
java
、
groovy
、
calendar
给出了
java
.util.Date的一个实例,即星期日。这个项目实际上是一个Groovy项目,所以我可以使用
Java
或Groovy来解决这个问题。 谢谢你,Donal
浏览 2
提问于2010-05-21
得票数 4
4
回答
Java
的数据流编程API?
java
、
concurrency
、
multicore
、
dataflow
我正在寻找一个用于
Java
的数据流/并发编程API。有什么想法吗? 谢谢,罗洛
浏览 0
提问于2008-10-02
得票数 8
2
回答
Bigquery价格变动?
google-bigquery
如果我在查询中重用相同的子查询,这是新的
数据处理
,而不管它是同一个子查询呢?这能以任何方式优化吗?bigquery不缓存它的数据吗? 是否有用于
数据处理
的最小大小?关于3)我在
数据处理
方面有这么
大
的问题(这就是我问所有问题的原因)。我的整个数据集大约有150 My
大
,而我的每个查询的DP大小却
大
3倍?
浏览 10
提问于2013-04-22
得票数 5
回答已采纳
1
回答
我怎样才能加快GCP的数据采集(Datapipeline)?
google-cloud-platform
、
google-cloud-data-fusion
大约300吨的数据正在使用Google平台数据集(选项: dev)传输到
大
查询中。感谢您的阅读。
浏览 1
提问于2020-10-19
得票数 2
回答已采纳
1
回答
从ASP.NET调用异步方法调用
asp.net
、
asynchronous
我目前在一个涉及数据上传过程的网站上工作。文件当前被上传到服务器,方法被调用(在app_code中),最终(通过web方法)调用DTS包来将数据加载到数据库中并对其执行一些验证。有没有人能给我一些指导,告诉我进行这项工作的最佳方法?
浏览 1
提问于2010-07-20
得票数 0
回答已采纳
1
回答
多线程在有限源的apache光束管道中是如何工作的?
apache-beam
我是大
数据处理
方面的新手。我正在使用apache beam
Java
SDK来处理它。尝试了解多线程/并行
数据处理
在apache光束管道中是如何工作的。
浏览 9
提问于2020-07-23
得票数 0
1
回答
Postgres和PHP的动态SQL查询
php
、
postgresql
、
plpgsql
写这样的东西有什么区别: SELECT table2.field1, table2.field3, table2.field5, FROM table2 WHERE table2.field1 LIKE '%{$sear
浏览 2
提问于2016-03-10
得票数 0
回答已采纳
1
回答
如何利用火花流更好地处理卡夫卡主题中的大量历史数据
apache-kafka
、
spark-streaming
我正在经历一个问题,开始在一个非常
大
的卡夫卡主题上启动流媒体,这个话题中已经有大约1.5亿个数据,而且这个话题正在快速增长。当我试图通过设置kafka参数("auto.offset.reset“->”最小值“)从本主题开始触发流和读取数据时,它总是尝试完成第一批中的所有1.5亿个
数据处理
,并返回一个"
java
.lang.OutOfMemoryError
浏览 0
提问于2016-06-13
得票数 1
回答已采纳
1
回答
使用循环将Oracle
大
容量收集到集合
oracle
、
plsql
、
bulk-collect
在这一页中,他们提到: 当您使用
大
容量收集和集合从游标中获取数据时,您不应该依赖游标属性来决定是否终止循环和
数据处理
。
浏览 1
提问于2017-08-21
得票数 1
回答已采纳
4
回答
这里最适合的是哪个
java
webserver?
web-applications
、
glassfish
、
webserver
、
jetty
、
httpserver
在客户端和
数据处理
实体之间进行接口的
Java
the服务器。 ( a)在
java
(com.sun.net.httpserver)中使用httpserver类并创建多线程进程。缓存是在not服务器上完成的,如果
数据处理
实体没有将数据标记为脏的,则从not服务器本身提供请求。 谢谢。罗恩。
浏览 2
提问于2009-09-21
得票数 1
回答已采纳
6
回答
多线程数据工作的推荐语言
python
、
multithreading
、
r
现在,我使用Python和R的组合来满足我所有的
数据处理
需求。但是,我的一些数据集非常
大
,并且会从多线程处理中受益良多。对于这种类型的
数据处理
,最好的语言/实现是什么?
浏览 0
提问于2010-08-18
得票数 6
回答已采纳
1
回答
Spring RESTful web服务.
大
容量
数据处理
spring
、
rest
、
spring-boot
、
spring-batch
我正在尝试构建一个Spring/Spring RESTful web服务, 当前的遗留系统在存储过程中实现了相同的功能,这使得解决方案与DB紧密耦合,如果需要对RDBMS进行修改,这将是一个问题。 在异步web服
浏览 0
提问于2016-05-30
得票数 2
回答已采纳
1
回答
从32位桌面构建并行处理网格
hypervisor
、
gridengine
、
distributed-computing
我正在我的笔记本电脑上运行模拟(Core2Duo1.8Ghz和4GB内存运行windows 7),这需要很长时间。怎么做?我应该使用哪个操作系统?我的操作系统应该是服务器吗?我需要额外的硬件吗? 请给我指点任何教程或书籍。请给我你的宝贵建议和建议。
浏览 0
提问于2011-05-30
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据处理:大物实验的终极神器
大数据处理必备的十大工具!
EXCEL如何进行50万大数据处理-干货篇
盘点Java初学者如何理解Java三大框架!
学习Java编程-十大常见的Java String问题
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券