但我目前的理解是,要将数据“摄取”到hadoop集群中,首先必须在主pc或集群单元上获得数据。这与我知道可以使用hadoop作为分散数据收集的方法相矛盾,如果每个单元都有传感器,您可以在设备上收集数据,并以这种方式摄入数据。假设我有一个Raspberry pi (或任何其他外围以太网设备),并且我想将数据添加到Hadoop分布式处理/数据库中。我是否需要使这个以太网设备成为集群上的整个节点(具有自己的<em
问题是,在集群上执行算法比在一台机器上执行算法需要更多的时间!我不知道这是否正常,因为文件不够大(因此,由于机器之间的延迟,时间会变慢),或者我必须更改一些东西,以便在不同的节点上并行运行算法,但我认为这是自动完成的。通常,在一台机器上运行该算法需要执行以下操作: user 2m53.766s当在群集上时,需要以下时间: user 3m10.229s
sys 0m5.54