我正试图使用dask_cudf对一个非常大的数据集(150,000,000+记录)进行预处理,以便进行多类xgboost培训,并且无法对类列(dtype is string)进行编码。我试过使用dask_ml.LabelEncoder,但它说cudf中不支持字符串数组。我尝试过以各种方式使用compute(),但是我一直遇到内存不足的错误(我假设是因为cudf dataframe上的操作需要一个更小的数据集)。我尝试手动排列它们,但是dask_cudf似乎不支持使用‘does’参数进行重
It fails with the following output:
Change Dir: /home/CUDF/cudf/cpp/build/CMakeFiles/CMakeTmp/ -x cu -c /home/CUDF/cudf/cpp/build/CMakeFiles/CMakeTmp/main.cu -o CMakeFiles
我想在我的图形处理器上加速pandas,所以我决定使用cudf库。请推荐其他库(如果有)。Collecting cudf-cuda92
ERROR: Could not find a version thatsatisfies the requirement cudf-cuda92 (from version