我们使用的是HDP HDFS模块版本2.7.3.2.6.5.0-292。
服务器被卡住了,必须重新启动--现在Node服务的名称在启动时会抛出一个错误。
在成功获取一个锁文件之后,它会立即失败,因为它再次尝试获取它,即使它是针对同一个进程(可能是同一个线程)--它失败了。
如何使用tact中的数据启动名称节点?
18/11/14 20:19:24 INFO util.GSet: Computing capacity for map NameNodeRetryCache 18/11/14 20:19:24 INFO util.GSet: VM type = 64-bit 18/11/
从日志中,我可以看到有182 k行,70 the。在Dataproc上训练182 K行需要1.5小时、70 on数据和9小时(从15/11/14开始,01:58:28,15/11/14,09:19:09)。在本地机器上加载相同的数据和运行相同的算法需要3分钟
DataProc日志
15/11/13 23:27:09 INFO com.google.cloud.hadoop.io.bigquery.ShardedExportToCloudStorage: Table 'mydata-data:website_wtw_feed.video_click20151111' to be