1回答
HDFS的批量分析
、、、、
我正在实时获取点击流数据。所有发送给卡夫卡的数据都被吃掉了。
速度层：我们可以使用clickstream / Flink等实时分析点击流数据中的会话。将数据发送到HDFS之后，假设使用Hive或Spark对其进行分析。我每隔30分钟配置一次作业。这份工作一般与流分析相同。但是它每30分钟运行一次，并分析用户会话(用户行为)。Question2:如何才能从HDFS(上一批之
浏览 1提问于2019-08-31得票数 0
3回答
我创建了一个实时应用程序，在这个应用程序中，我使用flume从weblog中将数据流写入hdfs，然后使用火花流处理该数据。但是，尽管flume正在hdfs中编写和创建新文件，但spark流无法处理这些文件。如果我使用put命令将这些文件放到hdfs目录中，火花流就能够读取和处理这些文件。
浏览 9提问于2015-06-09得票数 2
回答已采纳
我想到的是Spark，它只在内存中存储数据，对吗？如果我想将设备历史记录存储在RDMS中，我能做什么？谢谢
浏览 1提问于2016-06-07得票数 0
回答已采纳
1回答
我使用CUFFT对128幅图像进行2D FFT。每幅图像的大小为128 x 128。在MATLAB上，做一个2D FFT需要0.3毫秒，而对所有128幅图像做FFT需要大约128倍的毫秒数。使用CUFFT，执行以下代码计算一幅图像的FFTcudaMalloc( (void**)odata, sizeof(cufftDoubleComplex) * 128 * 128 );
cudaMemcpy( *idata, in_real, 128 * 128 * size
浏览 2提问于2016-04-06得票数 1
回答已采纳
为了避免延迟和加快进程，我在spark流中构建了线程池。但是我们发现HDFS中的结果文件缺少很多数据，这就有点留下来了。我想知道我们可以在spark streaming中构建线程池。spark streaming中的线程池是否会导致某些数据丢失？
浏览 0提问于2017-11-12得票数 1
有没有专为机电一体化编程而设计的语言？我知道LabView，这是一种数据流语言，但不确定它的主要平台。
除了c/c++之外，你能向我推荐一些语言吗？用于机电一体化(机器人、传感器编程等)主题的任何语言。
浏览 0提问于2012-11-27得票数 1
回答已采纳
1回答
我知道批处理依赖于数据的收集，流处理依赖于连续的数据。
请简单地解释一下，为什么Apache气流不是数据流解决方案，而是批量处理。
浏览 3提问于2022-04-18得票数 1
我首次在客户端项目上使用Google BigQuery，并使用SSIS插件(CData)在SSIS中创建包，将数据插入到表中(这是一个奇怪的组合，但我的客户需要这样的组合)。我希望将大约100 k行插入到BigQuery表中，但是，当我想对该表执行进一步的更新查询时，无法执行这些查询，因为数据仍然在缓冲区中。
浏览 1提问于2017-11-29得票数 1
在Spark中，我以RDD的形式加载了一个数据集，并且喜欢不频繁地向其追加流数据。我知道RDDs是不可变的，因为它简化了锁定，等等。其他处理静态和流数据的方法是一体的吗？
类似的问题以前也被问过：
浏览 7提问于2016-12-24得票数 0
1回答
报告选项(书面报告、分析、枢轴、视图、图表、查询)网络接口-第三方或内部开发销售/成本报告矩阵需求分析与规划多维定价模块，制造路径模板会计核算一体化每个用户可自定义工作流
库存管理
浏览 0提问于2014-05-02得票数 3
让我通过一个例子来解释：
当一个新元素到达时，第二批应该执行培训(在增量模式下？！)没有加载所有的200000元素之前，但只是与模型和一个新的元素。
浏览 6提问于2016-11-25得票数 1
回答已采纳
我们在这个Blob存储中创建目录来标识批处理，如下所示：我尝试将“批处理-*”放在输入路径模式中，以便动态分配目录，但这是不允许的。这和流分析有什么关系吗？
谢谢你提前帮助我。
浏览 3提问于2020-04-10得票数 2
回答已采纳
1回答
我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。
我将探讨是否有其他方法将它们连接到一个示例POC。
浏览 3提问于2016-07-06得票数 3
回答已采纳
2回答
我们希望应用图形数据库来帮助我们理解制造生产线中与工作流相关的瓶颈、资源利用率、延迟问题和其他与时间相关的问题。
有人知道相关的工作吗？
浏览 3提问于2019-09-10得票数 0
(分钟)似乎火花结构化流并没有很好地使用startingOffsets属性的最新。我不想读旧消息，只有重要的当前的！
浏览 3提问于2021-10-01得票数 1
我在创建一个需要流并提供批处理的UDF方面遇到了困难。我在网络上搜索(foruns，documentation)，但是所有的例子都是批处理BACH，流流或批处理流。
浏览 0提问于2018-07-04得票数 0
回答已采纳
1回答
流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。
在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持久化，但是由于某种原因，这不再适用于结构化流<
浏览 1提问于2017-12-13得票数 9
在火花流中，数据按批间隔进行处理。is first batch of data10s~15s is third batch of data是否有一个变量来识别火花流中的每一批数据如果有这样的变量：我可以获得batchID的值来识别哪一批数据，也可以通过batchID (如：window(……).filter(_.batchId == 1) )过滤<
浏览 6提问于2016-02-02得票数 3
回答已采纳
3回答
每个记录都必须作为单独的记录在工作流中注册，该记录必须经过自己的工作流。
是否有其他解决方案来处理批记录/ids？否则，工作流服务必须调用1000次才能注册工作流实例中的每条
浏览 4提问于2012-09-20得票数 3
回答已采纳
在tensorflow验证监视器流auc中，它对流意味着什么？案例1:每次调用验证监视器时，都会重置auc状态，因为在每个验证步骤中，对10个批进行流处理。案例2: auc状态没有重置，因此流auc是从验证监视器的第一次调用中计算出来的。即，第一输出( 100步)从10批计算，第二验证输出(
浏览 5提问于2017-06-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
