我使用Kafka来处理消息。消息可以分成几个部分(它是一个复合消息)。例如,在流中,我可以有一个被分成三个部分的复合消息。换句话说,它将是Kafka流中的三个记录,但这是一个大消息。我想使用Kafka表在一个Kafka记录中合并复合消息的各个部分。合并后,将在数据库(Postgres)中插入一封邮件。每个部件都有部件数和总部件数。例如,如果我在流中有一条消息的三个部分(三个Kafka记录)-每个部分都有字段total number of part,值为3。
我的理解是,任务在积极的场景中很简单:在表中聚合部件,从表中创建流,并过滤具有等于聚合部件大小和部件总数的记录,映射在一个合并的消息中过滤
我使用IgniteCache.loadCache(null, keyClassName, sqlArray)通过运行sqlArray指定的sql查询将RDMS数据加载到缓存中。
看起来,loadCache内部将使用ThreadPool运行sqlArray (每个ThreadPool将在任务中运行)
我的问题是: IgniteCache内部会控制并行吗?我有以下情况:
我的数据源的最大连接设置为200。
sqlArray的长度约为1000,因为我有一个大表:select * from person where id >=0 and i <=20000 ... select *
最近,我们将大查询与Google Analytics联系起来。创建了一个包含大量表格的数据集。它是可以访问的,但我们注意到并不是所有的日期都执行了。
下表显示:
ga_sessions_(478), it means 478 days from now, counting backwards
它指向2015年中,但如果我们进入Google Analytics,我们可以看到2015年、2014年和更早的数据。
现在我们使用大查询从Google Analytics获取数据,但我们无法访问2014年的数据,因为我们知道这些数据确实存在。
为什么对周期有限制?为什么数据集/表受到限制?
我刚刚使用WUBI安装了Ubuntu。我遵循这个教程,当我从Windows中选择Ubuntu时,上面写着wubildr.mbr is missing or corrupted。
然后再次出现Windows引导管理器。我再试一次。同样的错误。然后我转到Windows,并检查了wubildr.mbr,它在winboot中。它只有8kb大。这很正常吗?它被腐蚀了吗?还有一件事。当我使用WUBI安装时,我在(http://94.140.81.66/error.png)上获得了错误截图。
我正在对现有的Bash脚本进行故障排除,在脚本中有两个测试:
if [ ! -s <file_location> ] ; then
# copy the file to the file_location
if [ -s <file_location> ] ; then
# operate on the file
fi
fi
根据,-s测试文件是否为零大小。将! -s测试替换为-e更好吗?我可以理解第二个嵌套测试是一个-s,但是第一个测试看起来可以用-e代替。! -s对-e的优势是什么?我是不是遗漏了什么?
这个问题几乎说明了我想要什么。
我有一个算法,我徘徊的是什么更好的方法来实现啊‘大-哦’的运行时间-通过一个图表和绘制输入的数目与运行时间,或通过渐近分析?
对于我目前正在使用的图形:
private int startTime = System.currentTimeMillis(); //At start of algorithm
private int endTime = System.currentTimeMillis(); //At the end of algorithm
int runningTime = endTime - startTime;
这两种方法之间的区别是什么‘测量
@Jusit建议我使用全局对象将数据从后台线程传递到活动,并且它起作用了。但现在我担心死锁,以及是否有好的方法来避免/防止它。另外,我不确定我选择字符串作为全局对象是不是很好。以下是我目前所做的解释。
实际上,全局对象只是在Blueterm.java中创建的一个公共静态变量,如下所示:
public class BlueTerm extends Activity {
// a global object I guess
public static String strData = "";
// a couple of booleans to contro