编写|PaddlePaddle
排版|wangp
虽然PaddlePaddle看起来包含了众多参数,但是大部分参数是为开发者提供的,或者已经在集群提交环境中自动设置,因此用户并不需要关心它们
在此,根据这些参数的使用场合,我们将它们划分为不同的类别。例如,通用类别中的参数可用于所有场合。某些参数只可用于特定的层中,而有些参数需要在集群多机训练中使用。本推文将对各个类别的参数做详细的介绍,点击推文左下角“阅读原文”可查看参数概述
通用
---工作模式,包括: train, test, checkgrad,其中checkgrad主要为开发者使用,使用者不需要关心
---类型: string (默认: train)
--config
---用于指定网络配置文件
---类型: string (默认: null)
--use_gpu
---训练过程是否使用GPU,设置为true使用GPU模式,否则使用CPU模式
---类型: bool (默认: 1)
--local
---训练过程是否为本地模式,设置为true使用本地训练或者使用集群上的一个节点,否则使用多机训练
---类型: bool (默认: 1)
--trainer_count
---指定一台机器上使用的线程数。例如,trainer_count = 4, 意思是在GPU模式下使用4个GPU,或者在CPU模式下使用4个线程。每个线程(或GPU)分配到当前数据块样本数的四分之一。也就是说,如果在训练配置中设置batch_size为512,每个线程分配到128个样本用于训练
---类型: int32 (默认: 1)
--num_passes
---当模式为--job=train时, 该参数的意思是训练num_passes轮。每轮会将数据集中的所有训练样本使用一次。当模式为--job=test时,意思是使用第test_pass个模型到第 num_passes-1 个模型测试数据
---类型: int32 (默认: 100)
--config_args
---传递给配置文件的参数。格式: key1=value1,key2=value2
---类型: string (默认: null)
--version
---是否打印版本信息
---类型: bool (默认: 0)
--show_layer_stat
---是否显示每个批次数据中每层的数值统计
---类型: bool (默认: 0)
训练
---每log_period个批次打印日志进度
---类型: int32 (默认: 100)
--dot_period
---每dot_period个批次输出符号’.’
---类型: int32 (默认: 1)
--saving_period
---每saving_period轮保存训练参数
---类型: int32 (默认: 1)
--save_dir
---保存模型参数的目录,需要明确指定,但不需要提前创建
---类型: string (默认: null)
--start_pass
---从start_pass轮开始训练,会加载上一轮的参数。
---类型: int32 (默认: 0)
--show_parameter_stats_period
---在训练过程中每show_parameter_stats_period个批次输出参数统计。默认不显示
---类型: int32 (默认: 0)
--save_only_one
---只保存最后一轮的参数,而之前的参数将会被删除
---类型: bool (默认: 0)
--load_missing_parameter_strategy
---当模型参数不存在时,指定加载的方式。目前支持fail/rand/zero三种操作
--- fail: 程序直接退出
--- rand: 根据网络配置中的initial_strategy采用均匀分布或者高斯分布初始化。均匀分布的范围是: [mean - std, mean + std], 其中mean和std是训练配置中的参数
--- zero: 所有参数置为零
---类型: string (默认: fail)
--init_model_path
---初始化模型的路径。如果设置该参数,start_pass将不起作用。同样也可以在测试模式中指定模型路径
---类型: string (默认: null)
--saving_period_by_batches
---在一轮中每saving_period_by_batches个批次保存一次参数
---类型: int32 (默认: 0)
--log_error_clipping
---当在网络层配置中设置error_clipping_threshold时,该参数指示是否打印错误截断日志。如果为true,每批次的反向传播将会打印日志信息。该截断会影响输出的梯度
---类型: bool (默认: 0)
--log_clipping
---当在训练配置中设置gradient_clipping_threshold时,该参数指示是否打印日志截断信息。该截断会影响权重更新的梯度
---类型: bool (默认: 0)
--use_old_updater
---是否使用旧的RemoteParameterUpdater。 默认使用ConcurrentRemoteParameterUpdater,主要为开发者使用,使用者通常无需关心
---类型: bool (默认: 0)
--enable_grad_share
---启用梯度参数的阈值,在多CPU训练时共享该参数.
---类型: int32 (默认: 100 * 1024 * 1024)
--grad_share_block_num
---梯度参数的分块数目,在多CPU训练时共享该参数.
---类型: int32 (默认: 64)
测试
---加载test_pass轮的模型用于测试
---类型: int32 (默认: -1)
--test_period
---如果为0,每轮结束时对所有测试数据进行测试;如果不为0,每test_period个批次对所有测试数据进行测试
---类型: int32 (默认: 0)
--test_wait
---指示当指定轮的测试模型不存在时,是否需要等待该轮模型参数。如果在训练期间同时发起另外一个进程进行测试,可以使用该参数
---类型: bool (默认: 0)
--model_list
---测试时指定的存储模型列表的文件
---类型: string (默认: “”, null)
--predict_output_dir
---保存网络层输出结果的目录。该参数在网络配置的Outputs()中指定,默认为null,意思是不保存结果。在测试阶段,如果你想要保存某些层的特征图,请指定该目录。需要注意的是,网络层的输出是经过激活函数之后的值
---类型: string (默认: “”, null)
--average_test_period
---使用average_test_period个批次的参数平均值进行测试。该参数必须能被FLAGS_log_period整除,默认为0,意思是不使用平均参数执行测试
---类型: int32 (默认: 0)
--distribute_test
---在分布式环境中测试,将多台机器的测试结果合并.
---类型: bool (默认: 0)
--predict_file
---保存预测结果的文件名。该参数默认为null,意思是不保存结果。目前该参数仅用于AucValidationLayer和PnpairValidationLayer层,每轮都会保存预测结果
---类型: string (默认: “”, null)
GPU
指示使用哪个GPU核
类型: int32 (默认: 0)
--allow_only_one_model_on_one_gpu
如果为true,一个GPU设备上不允许配置多个模型
类型: bool (默认: 1)
--parallel_nn
指示是否使用多线程来计算一个神经网络。如果为false,设置gpu_id指定使用哪个GPU核(训练配置中的设备属性将会无效)。如果为true,GPU核在训练配置中指定(gpu_id无效)
类型: bool (默认: 0)
--cudnn_dir
---选择路径来动态加载NVIDIA CuDNN库,例如,/usr/local/cuda/lib64. [默认]: LD_LIBRARY_PATH
---类型: string (默认: “”, null)
--cuda_dir
---选择路径来动态加载NVIDIA CUDA库,例如,/usr/local/cuda/lib64. [默认]: LD_LIBRARY_PATH
---类型: string (默认: “”, null)
--cudnn_conv_workspace_limit_in_mb
指定cuDNN的最大工作空间容限,单位是MB,默认为4096MB=4GB
---类型: int32 (默认: 4096MB=4GB)
自然语言处理(NLP): RNN/LSTM/GRU
---指示在简单的RecurrentLayer层的计算中是否使用批处理方法
---类型: bool (默认: 0)
--prev_batch_state
---标识是否为连续的batch计算
---类型: bool (默认: 0)
--beam_size
---集束搜索使用广度优先搜索的方式构建查找树。在树的每一层上,都会产生当前层状态的所有继承结果,按启发式损失的大小递增排序。然而,每层上只能保存固定数目个最好的状态,该数目是提前定义好的,称之为集束大小
---类型: int32 (默认: 1)
--diy_beam_search_prob_so
---用户可以自定义beam search的方法,编译成动态库,供PaddlePaddle加载。 该参数用于指定动态库路径
---类型: string (默认: “”, null)
数据支持(DataProvider)
---内存容限阈值,当超过该阈值时,停止加载数据
---类型: double (默认: 1.0)
单元测试
使用checkgrad模式时的参数变化大小
类型: double (默认: 1e-05)
参数服务器和分布式通信
---指示是否开启参数服务器(parameter server)
---类型: bool (默认: 0)
--pservers
---参数服务器的IP地址,以逗号间隔
---类型: string (默认: “127.0.0.1”)
--port
---参数服务器的监听端口
---类型: int32 (默认: 20134)
--ports_num
---发送参数的端口号,根据默认端口号递增
---类型: int32 (默认: 1)
--trainer_id
---在分布式训练中,每个训练节点必须指定一个唯一的id号,从0到num_trainers-1。0号训练节点是主训练节点。使用者无需关心这个参数
---类型: int32 (默认: 0)
--num_gradient_servers
---梯度服务器的数量,该参数在集群提交环境中自动设置
---类型: int32 (默认: 1)
--small_messages
---如果消息数据太小,建议将该参数设为true,启动快速应答,无延迟
---类型: bool (默认: 0)
--sock_send_buf_size
---限制套接字发送缓冲区的大小。如果仔细设置的话,可以有效减小网络的阻塞
---类型: int32 (默认: 1024 * 1024 * 40)
--sock_recv_buf_size
---限制套接字接收缓冲区的大小
---类型: int32 (默认: 1024 * 1024 * 40)
--parameter_block_size
---参数服务器的参数分块大小。如果未设置,将会自动计算出一个合适的值
---类型: int32 (默认: 0)
--parameter_block_size_for_sparse
---参数服务器稀疏更新的参数分块大小。如果未设置,将会自动计算出一个合适的值
---类型: int32 (默认: 0)
--log_period_server
---在参数服务器终端每log_period_server个批次打印日志进度
---类型: int32 (默认: 500)
--loadsave_parameters_in_pserver
---在参数服务器上加载和保存参数,只有当设置了sparse_remote_update参数时才有效
---类型: bool (默认: 0)
--pserver_num_threads
---同步执行操作的线程数
---类型: bool (默认: 1)
--ports_num_for_sparse
---发送参数的端口号,根据默认值递增(port + ports_num),用于稀疏训练中
---类型: int32 (默认: 0)
--nics
---参数服务器的网络设备名称,已经在集群提交环境中完成设置
---类型: string (默认: “xgbe0,xgbe1”)
--rdma_tcp
---使用rdma还是tcp传输协议,该参数已经在集群提交环境中完成设置
---类型: string (默认: “tcp”)
异步随机梯度下降(Async SGD)
---定义异步训练的长度,如果为0,则使用同步训练
---类型: int32 (默认: 0)
--async_lagged_ratio_min
---控制config_.async_lagged_grad_discard_ratio()的最小值
---类型: double (默认: 1.0)
--async_lagged_ratio_default
---如果在网络配置中未设置async_lagged_grad_discard_ratio,则使用该参数作为默认值
---类型: double (默认: 1.5)
性能调优(Performance Tuning)
---如果为true,则显示阻隔性能的摘要信息
---类型: bool (默认: 1)
--log_barrier_show_log
---如果为true,则总会显示阻隔摘要信息,即使间隔很小
---类型: bool (默认: 0)
--log_barrier_lowest_nodes
---最少显示多少个节点
---类型: int32 (默认: 5)
--check_sparse_distribution_in_pserver
---指示是否检查所有参数服务器上的稀疏参数的分布是均匀的
---类型: bool (默认: 0)
--show_check_sparse_distribution_log
---指示是否显示参数服务器上的稀疏参数分布的日志细节
---类型: bool (默认: 0)
--check_sparse_distribution_batches
---每运行多少个批次执行一次稀疏参数分布的检查.
---类型: int32 (默认: 100)
--check_sparse_distribution_ratio
---如果检查到分配在不同参数服务器上的参数的分布不均匀次数大于check_sparse_distribution_ratio * check_sparse_distribution_batches次,程序停止
---类型: double (默认: 0.6)
--check_sparse_distribution_unbalance_degree
---不同参数服务器上数据大小的最大值与最小值的比率
---类型: double (默认: 2)
矩阵/向量/随机数
---启动并行向量的阈值
---类型: int32 (默认: 0)
--seed
---随机数的种子。srand(time)的为0
---类型: int32 (默认: 1)
--thread_local_rand_use_global_seed
---是否将全局种子应用于本地线程的随机数
---类型: bool (默认: 0)
本文分享自 PaddlePaddle 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!