驱动实例设置与查询

最近更新时间:2019-08-22 20:32:15

智能钛机器学习平台上有4种驱动方式:手动、定时、参数驱动和重跑。 对同一个工作流来说,这4种驱动方式即不同的实例类型,这里主要介绍后3种驱动方式与查询方式。

定时实例

定时实例是指用户可以设置基于开始时间和调度周期的自动运行策略,到时间后自动生成实例并运行的驱动方式。
调试后的工作流可设置定时策略进行例行化运行,具体如下图所示:

  1. 定时设置后,需要在工作流画布上手动保存后才能生效。
  2. 设置了定时策略的作业,将使用 online 资源运行,需保障例行化作业的资源配比。

参数实例

参数驱动

在参数实例任务运行前,先需在“参数设置”工具栏中设置参数及其对应初始值。用 key=value 的方式即可(如 a = 1)。

参数集方式驱动

算法工程师进行模型训练时需要进行大量的参数调试,智能钛机器学习平台提供带参数集的运行功能。用户可以设置数值型和枚举型参数,系统将根据设定的规则生成多个实例,实现不同的参数组合条件下的模型训练。

  • 参数设置和初始化
  • 带参数运行工作流
    数值型需设定初始值、终值和步长。例如下图示例,初始值为0,终值为5,步长为1,则将产生 a 值为0、1、2、3、4、5的多个参数实例。
    枚举型参数需以空格进行分隔。

说明:

两种方式生成的实例类型都为“参数驱动”,可进行实例查询和历史实例快照的查询。具体见实例查询章节。

典型参数的使用

参数初始化以后,可以用${参数}的方式来使用。

如果用户使用 API 方式调用,会使输入的值覆盖默认值,例如调用时使用:runParamFlow.do?paramPackage={'param1':'3','param2':'5'},在执行时就能在日志里看到提交的命令行如下:

参数值被替换成了最新传递的参数。

时间参数

时间参数在智能钛机器学习平台上也用得比较多, 可以使用${YYYYMMDD}的格式进行业务时间的参数传递,对周期工作流来说,${YYYYMMDD}取的是上一个周期的日期,例如当时时间为2016-08-08 16:00:00,不同的周期和参数传递后取到的值对应关系如下:

周期类型 典型参数 取值 其他说明
间隔1天 ${YYYYMMDD} 20160807 ${YYYYMMDD+1}=20160808
间隔3天 ${YYYYMMDD} 20160805 ${YYYYMMDD+1}=20160806
小时 间隔1小时 ${YYYYMMDDHH} 2016080815 ${YYYYMMDDHH+1}=2016080816
间隔3小时 ${YYYYMMDDHH} 2016080813 ${YYYYMMDDHH+1}=2016080814
间隔1月 ${YYYYMMDD} 20160701 月任务的业务日期均是每月的1号
分钟 间隔10分钟 ${YYYYMMDDHHFF} 201608081550 ${YYYYMMDDHHFF+5}=20160808155
间隔30分钟 ${YYYYMMDDHHFF} 201608181530 ${YYYYMMDDHHFF+5}=201608081535
  • 天任务的小时、分钟、秒都为0。
  • 月任务的时间都是每个月的1号。
  • 周任务可以使用间隔7天来实现。

重跑实例

用户需要对历史某个时段的数据进行重新处理时,在工作流画布页面,选择重跑的时间区间,提交即可。

  • 如果当前的流设置了定时策略,重跑的时间设定单位与定时策略保持一致。例如定时策略设置的是每12小时运行一次,重跑的区间也是从开始时间起每12小时运行一次。
  • 支持月,周,天,时,分钟为单位的重跑,重跑的单位也一致。
  • 对于“等待运行”和“正在运行”状态的重跑实例,如果新提交的请求中有相同数据时间的实例,系统会进行去重处理。
  • 单个流的重跑实例数目前上限为50, 超过则不能提交。
  • 如果没有设置定时策略,默认的周期为天。

查询定时、参数驱动及重跑实例

在画布的工具栏上,单击【运行实例】,可以查看该工作流下所有正在运行和等待运行的实例。
在运行实例窗口中,您可以查看该工作流下运行中实例的状态,绿色标注的为当前正在执行的实例,灰色的为待执行的实例,您可删除单个或所有实例。

在运行过程中(绿色标注),会链接到该实例的快照页面,该页面上只可做停止实例和查看日志操作。
多种调度类型实例同时被调起时,会优先执手动驱动的实例,其他3种优先级都是并列的。
定时实例数量大于1时,说明该实例没有在下一个实例执行前完成。

说明:

  1. 关于定时实例,如果要在设置当天开始运行,设置定时实例的开始的时间请务必在当前时间之后。例:现在是15:30,请设置15:40开始。如果设置了15:20,那么将在第二天的15:20才能查询到定时实例。
  2. 三种实例可以并发执行,默认情况下重调数、定时和参数的并发数都是1,但在训练过程中有时需要同一种实例多个并发执行。 您可以通过【任务流设置】>【并发设置】配置并发,使这3种类型的实例按照预定时间并发执行起来,缩短训练时间。


多种调度类型实例并发总数是6,即这3种类型的实例并发数加在一起不能超过6个。