5分钟
外存计算
1. 对于external-memory 和 in-memory 计算,二者几乎没有区别。除了在文件名上有所不同。
in-memory的文件名为:filenameexternal-memory的文件名为:filename#cacheprefix。其中:filename:是你想加载的数据集 (libsvm文件 ) 的路径名 当前只支持导入libsvm格式的文件cacheprefix: 指定的cache文件的路径名。xgboost将使用它来做external memory cache。
如:
dtrain = xgb.DMatrix('../data/my_data.txt.train#train_cache.cache')2. 推荐将nthread 设置为真实CPU 的数量。
- 现代的
CPU都支持超线程,如4核8线程。此时nthread设置为4而不是8
3. 对于分布式计算,外存计算时文件名的设定方法也相同:
data = "hdfs:///path-to-data/my_data.txt.train#train_cache.cache"
学员评价