我正在尝试查找光线自动定标器的config.yml的命令
我知道有max_workers,但它将集群作为一个整体来考虑。我想限制每个工作节点上启动的cpus数量。
例如:
worker_node:
max_cpus: 3
Head_node:
max_cpus: 4我该怎么做?
发布于 2021-02-04 03:21:45
每个worker的CPU数量由worker的配置决定,该配置是特定于提供商的。这就是node_config字段的用途。例如,在AWSm中,如果您想指定一台4cpu的机器,您可以这样做
available_node_types:
cpu_4_ondemand:
node_config:
InstanceType: m4.xlarge
min_workers: 1
max_workers: 5请注意特定于EC2的InstanceType字段(它是4个cpus,因为这是m4.xlarge实例上的cpus数量)。
对于Kubernetes,您可以在node_config字段中放置一个CRD。例如
node_config:
apiVersion: v1
kind: Pod
metadata:
# Automatically generates a name for the pod with this prefix.
generateName: ray-worker-
# Must match the worker node service selector above if a worker node
# service is required.
labels:
component: ray-worker
spec:
resources:
requests:
cpu: 4000m
memory: 512MiB有关更多信息,您可能有兴趣查看ray repo中提供程序的特定示例。例如,下面是亚马逊网络服务的例子:https://github.com/ray-project/ray/tree/master/python/ray/autoscaler/aws
https://stackoverflow.com/questions/65995386
复制相似问题