我发现了类似的问题Hadoop HDFS is not distributing blocks of data evenly 但我的问题是当复制因子=1时 我仍然想知道为什么HDFS没有在群集节点上均匀分布文件块当我在这样的文件上加载/运行dataframe操作时,这将导致从start开始的数据倾斜。我是不是遗漏了什么?
我们为hadoop+yarn使用了牧场主模板,但是hadoop似乎无法处理使用容器名称作为主机名的问题(例如。hadoop_namenode-primary_1)。Caused by: java.net.URISyntaxException: Illegal character in hostname at index 13: http://hadoop_datanode