腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在Apache Spark中实现递归算法?
、
、
、
我有一个问题,我想在Spark中实现一个递归算法,并希望了解是否有任何建议可以在Spark中构建它,或者探索其他可能更适合的数据分析
框架
。构建一个在单个节点上运行的解决方案是很简单的(例如,spark master),但假设目录结构非常
大
,具有O(十亿)个叶节点。对于使用Spark或其他
框架
/
数据处理
技术构建递归/迭代类型的数据管道,有什么建议吗?
浏览 37
提问于2021-06-24
得票数 0
1
回答
服务器端
框架
与客户端
框架
、
、
、
、
因此,我最近一直在学习Django,我花了一段时间才明白它是一个服务器端
框架
,我以前只使用过Vue/AngularJS,我认为Django类似是因为提供了相同的服务(用于循环、如果语句等等)。客户端
框架
真的只对产生SPA?有用吗?
浏览 0
提问于2018-07-07
得票数 1
1
回答
处理大型文件的更好方法
、
、
、
我有一个巨大的csv文件,我必须处理这个文件并做一些
数据处理
。现在,我正在缓冲区中读取/加载文件,然后进行
数据处理
工作。在文件非常
大
的情况下,我发现这种方法效率低下。
浏览 0
提问于2020-08-15
得票数 -4
1
回答
Ubuntu20.04上的CodeIgniter 4
、
、
、
我已经在/var/www/html/app目录中安装了我的ci4应用程序。然后在/etc/apache2/site中创建codeigniter.conf文件-可用目录,并编写如下代码 ServerAdmin admin@myciapp.local ServerName myciapp.local
浏览 0
提问于2021-03-06
得票数 0
回答已采纳
3
回答
Excel‘
大
’
数据处理
跟踪
、
上一个问题(初始级别优化):Excel“
大
”
数据处理
与查找“ 代码用途:根据新信息(由不同的宏提供)重新计算每列500 000行的25列。
浏览 0
提问于2017-03-22
得票数 4
回答已采纳
2
回答
通过联接合并两个数据文件,并考虑时间戳
、
、
假设我有这个数据
框架
<chr> <dbl>2 2012-04-25 18:40:00 81 time2 d1 d2 d31 2012-04-25 17:45:00 1 0
浏览 5
提问于2022-05-23
得票数 1
1
回答
“部分数据负载”术语
、
、
、
在我的例子中,我有一个非常
大
的文件,即“环境A”。为了改进我的
数据处理
(并阻止我的PC崩溃),我只一次加载这个环境的一小部分。我不会将数据分割成不同的文件。是否有一个术语更简洁地描述了这种
数据处理
技术,而不是“部分负载”?
浏览 0
提问于2022-10-18
得票数 0
1
回答
未使用mapreduce的Hbase BulkLoad
、
、
我想知道是否有可能编写一个在HBase上执行BulkLoad的java程序。我在hadoop集群上,但由于某些原因,我不需要编写MapReduce作业。
浏览 1
提问于2015-06-11
得票数 0
1
回答
更新图形时的jframe闪存
、
g.drawLine(); //Draw; }似乎这样做是愚蠢的,因为当运行它时,
框架
总是闪烁和滞后我不需要的代码部分都是关于
数据处理
的,例如变量,如果您需要,请注意我,非常感谢您的帮助。我只是使用一个没有任何缓冲方法的
框架
来显示图形,这是一个多么
大
的错误。我用bufferStrategy来解决这个问题。
浏览 3
提问于2016-01-12
得票数 0
6
回答
如何搭建Hadoop处理环境?
、
、
、
、
Apache Hadoop 是用于开发在分布式计算环境中执行
数据处理
应用程序的
框架
。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分(Hadoop分布式文件系统)及其
数据处理
部分(MapReduce)组成。Hadoop将文件分割成大块,并将它们分发到群集中的节点上。
浏览 1991
提问于2018-10-24
2
回答
使用Dryad而不是火花有什么好处?
我发现Apache在大
数据处理
方面非常强大。但我想知道Dryad (微软)的好处。这个
框架
比星火有什么优势吗? 为什么我们必须使用Dryad而不是火花?
浏览 0
提问于2015-01-28
得票数 2
回答已采纳
1
回答
Pyspark能否使用JDBC传递Alter Table
、
、
、
在使用pyspark从Databricks笔记本加载数据后,我希望将alter table命令传递给我的PostgreSQL数据库。我知道我可以使用spark.read.jdbc传递查询,但在本例中,我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22
提问于2020-06-02
得票数 0
回答已采纳
1
回答
异步消息测试
、
、
、
问题陈述如下我已经阅读了关于上述问题的信息。其中大部分指定了线程休眠和计时器。
浏览 1
提问于2011-09-08
得票数 0
2
回答
db.collection.find()和db.collection.aggregation()之间有什么区别?
我是新蒙古国。我试图找出db.collection.find()和db.collection.aggregation()之间的区别请多加洞察..。
浏览 6
提问于2016-03-10
得票数 1
回答已采纳
1
回答
为什么pig被称为批处理
、
猪是批量处理的吗?如果是这样的话,请告诉我为什么叫批处理。它是批处理吗,因为它运行一个map reduce。
浏览 11
提问于2016-08-01
得票数 0
3
回答
数据处理
的设计模式?(MVC替代)
、
、
、
在这些情况下,不需要一个
大
的花哨的MVC
框架
。 我意识到MVC仍然可以在这里应用,但它似乎有点过头了。除了原始的过程方法或类对象的随机混搭之外,是否有任何特定的体系结构设计模式特别适用于
数据处理
、运行一次和服务器守护进程类型的应用程序?
浏览 0
提问于2010-02-10
得票数 8
回答已采纳
1
回答
使用Apache嵌套迭代吗?
、
、
我正在考虑一个项目的Apache (在java中),但是这个项目需要
数据处理
框架
来支持嵌套迭代。我还没有找到任何证实,它支持吗?此外,是否有使用嵌套迭代的例子? 谢谢!
浏览 4
提问于2015-04-12
得票数 1
回答已采纳
1
回答
IoT流
数据处理
的最佳实践
、
、
、
、
我假设有成百上千的IoT设备通过MQTT协议将数据发布到(代理)MQTT集群,在代理后面,我有一个
数据处理
模块,它从代理订阅数据并维护所有这些设备的状态表。设备的数量仍在增加,因此我必须相应地扩展代理集群和
数据处理
模块,因为Kafka/Rabbit MQ/Hive MQ等MQTT代理可以非常容易地扩展,但对于
数据处理
模块,我不太确定是否有任何最佳实践或任何
框架
浏览 4
提问于2016-12-17
得票数 3
1
回答
Flex移动项目还是ActionScript移动项目?
、
、
、
我正在尝试为Android开发Adobe应用程序。移动projectActionScript Flex移动项目
浏览 3
提问于2011-07-17
得票数 0
2
回答
Bigquery价格变动?
如果我在查询中重用相同的子查询,这是新的
数据处理
,而不管它是同一个子查询呢?这能以任何方式优化吗?bigquery不缓存它的数据吗? 是否有用于
数据处理
的最小大小?关于3)我在
数据处理
方面有这么
大
的问题(这就是我问所有问题的原因)。我的整个数据集大约有150 My
大
,而我的每个查询的DP大小却
大
3倍?
浏览 10
提问于2013-04-22
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据处理框架是怎样的原理
虎牙公开“Lambda框架直播数据处理方法”专利,可提高响应效率
eBay的数据处理框架Accelerator提供并行执行和实时推荐功能
数据处理:大物实验的终极神器
BIM咨询收费大框架
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券