使用 CRD 配置自建 K8S 集群日志采集

  clsDetail:
    ### 指定日志集和日志主题
    logsetName: test                          ## CLS 日志集的 name，非必填。若无该 logsetName 的日志集，会自动创建；若有，会在该日志集下创建日志主题
    topicName: test                           ## CLS 日志主题的 name，非必填。若在 logsetName 下没有该name的日志主题，会自动创建。
                                              ## logsetName 和 topicName 指定之后，不指定 logsetId 和 topicId，会尝试自动创建日志主题；否则不会去创建 topic。
    logsetId: xxxxxx-xx-xx-xx-xxxxxxxx        ## CLS 日志集的 ID，非必填，
    topicId: xxxxxx-xx-xx-xx-xxxxxxxx         ## CLS 日志主题的 ID，非必填。如果不填 topicId，则必须填 logsetName 和 topicName，并且会尝试去自动创建 topic，并将创建后的 topic 的 topicId 填在该字段
    
    ### 自动创建日志主题时，定义日志主题配置。 定义后不可修改，修改不生效
    period: 30                                ## 非必填，生命周期，单位天，可取值范围1~3600，低频存储取值范围7~3600天；取值为3640时代表永久保存
    storageType: hot                          ## 非必填，日志主题的存储类型，可选值 hot（标准存储），cold（低频存储）；默认为 hot。
    hotPeriod: 7                              ## 非必填，沉降周期，单位天。可取值范围7~3600。仅在 storageType:hot 时生效，hotPeriod 需要大于 period，沉降的周期为 Period-hotPeriod
    partitionCount: 1                         ## 非必填，日志主题分区个数。默认创建1个，最大支持创建10个分区。
    autoSplit: "true"                         ## 非必填，是否开启自动分裂，默认值为 true。值必须以双引号""包裹
    maxSplitPartitions: 50                    ## 非必填，开启自动分裂后的最大分裂数量。默认值为50
    tags:                                     ## 非必填，标签描述列表，通过指定该参数可以同时绑定标签到相应的日志主题。最大支持9个标签键值对，同一个资源只能绑定到同一个标签键下。
    - key: xxx                                ## 标签 key
      value: xxx                              ## 标签 value
    
    ### 定义采集规则
    logType: json_log                         ## 日志解析格式，json_log 代表 json 格式，delimiter_log 代表分隔符格式，minimalist_log 代表单行全文格式，multiline_log 代表多行全文格式，fullregex_log 代表单行完全正则格式，multiline_fullregex_log 代表多行完全正则格式，user_define_log 代表组合解析。默认为 minimalist_log
    excludePaths:                             ## 非必填，采集黑名单路径列表。仅在 inputDetail 为 containerFile 或 hostFile 时生效
    - type: File                              ## 类型，选填 File 或 Path 
      value: /xx/xx/xx/xx.log                 ## type 对应的值
    userDefineRule: xxxxxx                    ## 非必填，用户自定义采集规则，Json 格式序列化的字符串
    
    ### 提取、过滤规则
    extractRule:                              ## 非必填，提取、过滤规则。如果设置了 ExtractRule，则必须设置 LogType，详情参考 extractRule 对象说明
      timeKey: xxx                            ## 时间字段的 key 名字，time_key 和 time_format 必须成对出现
      timeFormat: xxx                         ## 时间字段的格式，参考 c 语言的 strftime 函数对于时间的格式说明输出参数
      delimiter: xxx                          ## 分隔符类型日志的分隔符，只有 log_type 为 delimiter_log 时有效
      logRegex: xxx                           ## 整条日志匹配规则，只有 log_type 为 fullregex_log 时有效
      beginningRegex: xxx                     ## 行首正则匹配规则，只有 log_type 为 multiline_log 或 fullregex_log 时有效
      keys:                                   ## 取的每个字段的 key 名字，为空的 key 代表丢弃这个字段，只有 log_type 为 delimiter_log 时有
      - a
      - b
      filterKeys:                             ## 与 filterRegex 要对应，filterKeys 是数组，表示需要过滤的日志的 key
      - a
      - b
      filterRegex:                            ## 与 filterKeys 要对应，filterRegex 是正则字符串数组，key 对应的过滤规则 regex。
      - aRegx
      - bRegx
      advancedFilters：                       ## 高级过滤规则，该字段仅适用于v1.1.15及以上的采集组件版本，低于v1.1.15请使用 filterKeys 与 filterRegex
      - key: level                            ## 需要过滤的 Key
        rule: 0                               ## 过滤规则，支持的数值枚举为：0(等于)，1(字段存在)，2(字段不存在), 3(不等于)。
        value: info                           ## 需要过滤的值 value。其中当 rule 为1或2时，value 无需指定。
      unMatchUpload: "false"                  ## 解析失败日志是否上传，true 表示上传，false 表示不上传。默认不上传
      unMatchedKey: "parseFailed"             ## 解析失败的日志上传 CLS 的 key 名称
      backtracking: "-1"                      ## “-1”或者“0”，-1表示全量采集，0表示增量采集，其他大于0的数字表示增量采集模式下的回溯数据量。默认全量。
      isGBK: "true"                           ## "true"或者"false"，默认"false"非 jbk
      jsonStandard: "true"                    ## "true"或者"false"，默认"true"标准 json
      
    ###  高级采集配置
    advancedConfig:                           ## 非必填
      ClsAgentMaxDepth: 1                     ## 采集器采集最大目录深度，大于等于0的整数，0表示当前目录。
      ClsAgentFileTimeout: 60                 ## 文件超时属性，即超过该指定时间的日志文件没有被修改，则采集器不在监控。 该参数需要大于等于0的整数，单位秒。0为不超时，全部采集。
      ClsAgentParseFailMerge: true            ## 合并解析失败日志，取值范围: true 或 false

    ### 创建 topic 时可自定义全文索引
    ### 仅在自动创建日志主题时支持定义， 不支持修改已存在日志主题的索引
    fullTextIndex:                            ## 非必填，全文索引设置  
       status: "on"                           ## 全文索引开关，如果不设置，则会默认打开全文索引；如果设置 on 打开，不设置其他参数，则 caseSensitive 和 tokenizer 都会是默认值；如果设置 off 关闭，则不打开全文索引
       tokenizer: "@&()='\\",;:<>[]{}/ \\n\\t\\r" ## 全文索引的分词符，如果全文索引开关打开，则必须设置 tokenizer。可以设置为"@&()='\\",;:<>[]{}/ \\n\\t\\r"，为默认设置
       caseSensitive: false                   ## 是否大小写敏感
       containZH: false                       ## 是否包含中文
    
    ### 创建 topic 时可自定义TAG和键值索引设置
    indexStatus: "on"                          ## 非必填，TAG 索引和键值索引设置开关，如果不设置，则默认创建pod_name/namespace/container_name三个TAG索引;off则表示不设置键值索引
    autoIndex: "off"                          ## 非必填, off 则表示不设置自动配置索引，on 标识开启自动配置索引
    indexs:                                   ## 非必填。
    - indexName: xxx                          ## 需要配置键值索引或者 TAG 索引的字段；Pod 相关的 namespace/pod_name/pod_ip/pod_uid/container_id/container_name/image_name/cluster_id 八个元数据字段和 pod_label_前缀字段会设置为 TAG 索引，其他字段会设置为键值索引。
      indexType: "text"                       ## 非必填。字段类型，目前支持的类型有：long、text、double。非必填
      tokenizer: "@&()='\\",;:<>[]{}/ \\n\\t\\r"  ## 非必填。字段的分词符，其中的每个字符代表一个分词符；仅支持英文符号及\\n\\t\\r；long 及 double 类型字段需为空；
                                              ## text 类型字段推荐使用 @&?|#()='",;:<>[]{}/ \\n\\t\\r\\ 作为分词符；
      sqlFlag: true                           ## 非必填。字段是否开启分析功能。true/false 字段是否开启分析功能，如果是日志主题是低频日志主题，sqlFlag 选项不能被打开。
      containZH: false                        ## 非必填。是否包含中文。      

  inputDetail:
    type: container_stdout                       ## 指定采集日志的类型，包括 container_stdout（容器标准输出）、container_file（容器文件）、host_file（主机文件）
    containerStdout:                             ## 容器标准输出配置，仅在 type:container_stdout 时生效
      namespace: default                         ## 采集容器的 kubernetes 命名空间。支持多个命名空间，如果有多个命名空间使用","分隔，如：default,namespace。如果不指定，代表所有命名空间。注意：与 excludeNamespace 不能同时指定
      excludeNamespace: nm1,nm2                  ## 排除采集容器的 kubernetes 命名空间。支持多个命名空间，如果有多个命名空间使用","分隔，如：nm1,nm2。如果不指定，代表所有命名空间。注意：与 namespace 不能同时指定
      nsLabelSelector: environment in (production),tier in (frontend) ## 根据命名空间 label 筛选符合的 namespace
      allContainers: false                       ## 是否采集指定命名空间中的所有容器的标准输出。注意:allContainers=true 时不能同时指定 workload、includeLabels 和 excludeLabels
      containerOperator: in                      ## container 选择方式，包含填in，排除填notin
      container: xxx                             ## 指定采集或不采集日志的容器名，支持填写多个，逗号隔开。若 containerOperator 为 in，则可填*，代表采集所有容器
      includeLabels:                             ## 采集包含指定 label 的 Pod，与 workload 不能同时指定
        key: value1                              ## 支持匹配同一个 key 下多个 value 值的 pod，例填写 environment = production,qa 表示当 key 为 environment，value 值为 production 或 qa 时，均会被匹配，注意输入多个 value 值时请使用逗号隔开。如果同时指定了 excludeLabels，则匹配与 excludeLabels 交集的 pod
      excludeLabels:                             ## 采集不包含包含指定 label 的 Pod，与 workload、namespace 和 excludeNamespace 不能同时指定
        key2: value2                             ## 支持匹配同一个 key 下多个 value 值的 pod，例填写 environment = production,qa 表示当 key 为 environment，value 值为 production 或 qa 时，均会被排除，注意输入多个 value 值时请使用逗号隔开。如果同时指定了 includeLabels，则匹配与 includeLabels 交集的 pod
      metadataLabels:                            ## 指定具体哪些 pod label 被当做元数据采集，如果不指定，则采集所有 pod label 为元数据
      - label1
      metadataContainer:                         ## 指定具体哪些容器环境相关元数据被采集，如果不指定，则采集所有容器环境相关元数据（namespace,pod_name,pod_ip,pod_uid,container_id,container_name,image_name）
      - namespace
      customLabels:                              ## 用户自定义 metadata
        label: l1
      workloads:                                 ## 采集指定命名空间 -> 指定工作负载类型中 -> 指定工作负载 -> 指定容器中的日志
      - container: xxx                           ## 要采集的容器名，如果不指定，代表 workload Pod 中的所有容器
        containerOperator: in                    ## container 选择方式，包含填 in，排除填 notin
        kind: deployment                         ## workload 类型，支持 deployment、daemonset、statefulset、job、cronjob
        name: sample-app                         ## workload 的名字
        namespace: prod                          ## workload 的命名空间
        
    containerFile:                               ## 容器内文件配置，仅在 type:container_file 时生效
      namespace: default                         ## 采集容器的 kubernetes 命名空间，必须指定一个命名空间      
      excludeNamespace: nm1,nm2                  ## 排除采集容器的 kubernetes 命名空间。支持多个命名空间，如果有多个命名空间使用","分隔，如：nm1,nm2。 如果不指定，代表所有命名空间。 注意：与 namespace 不能同时指定
      nsLabelSelector: environment in (production),tier in (frontend) ## 根据命名空间 label 筛选符合的 namespace
      containerOperator: in                      ## container 选择方式，包含填 in，排除填 notin
      container: xxx                             ## 指定采集或不采集日志的容器名，支持填写多个，逗号隔开。 若 containerOperator 为 in，则可填*，代表采集所有容器。若制定了 workload 类型和名称，此处可定义指定工作负载中容器的名称
      logPath: /var/logs                         ## 日志文件夹，支持通配符 * 和 ？；* 表示匹配多个任意字符，? 表示匹配单个任意字符
      filePattern: app_*.log                     ## 日志文件名，支持通配符 * 和 ? ，* 表示匹配多个任意字符，? 表示匹配单个任意字符
      
      ## 指定容器内多个日志路径和文件，该参数和 logPath、filePattern 不兼容，只能指定 filePaths 或者(logPath、filePattern)
      ## 如果从(logPath 和 filePattern) -> filePaths 会触发日志重采；相反从 filePaths->logPath 和 filePattern)也一样
      filePaths:                                
      - file: /var/logs                          ## 日志文件夹，支持通配符 * 和 ？；* 表示匹配多个任意字符，? 表示匹配单个任意字符
        path: app_*.log                          ## 日志文件名，支持通配符 * 和 ? ；* 表示匹配多个任意字符，? 表示匹配单个任意字符
      - file: /var/logs1
        path: app_*.log
      
      includeLabels:                             ## 采集包含指定 label 的 Pod，与 workload 不能同时指定
        key: value1                              ## 收集规则收集的日志会带上 metadata，并上报到消费端。支持匹配同一个 key 下多个 value 值的 pod，例填写 environment = production,qa 表示当 key 为 environment，value 值为 production 或 qa 时，均会被匹配，注意输入多个 value 值时请使用逗号隔开。如果同时指定了 excludeLabels，则匹配与 excludeLabels 交集的 pod
      excludeLabels:                             ## 采集不包含包含指定 label 的 Pod，与 workload 不能同时指定
        key2: value2                             ## 支持匹配同一个 key 下多个 value 值的 pod，例填写 environment = production,qa 表示当 key 为 environment，value 值为 production 或 qa 时，均会被排除，注意输入多个 value 值时请使用逗号隔开。如果同时指定了 includeLabels，则匹配与 includeLabels 交集的 pod
      metadataLabels:                            ## 指定具体哪些 pod label 被当做元数据采集，如果不指定，则采集所有 pod label 为元数据
      - namespace
      metadataContainer:                         ## 指定具体哪些容器环境相关元数据被采集，如果不指定，则采集所有容器环境相关元数据（namespace,pod_name,pod_ip,pod_uid,container_id,container_name,image_name）
      customLabels:                              ## 用户自定义 metadata
        key: value
      workload:                                  ## 采集指定命名空间 -> 指定工作负载类型中 -> 指定工作负载中的所有容器。若要指定工作负载中的容器，需在外层 container 中指定
        kind: deployment                         ## workload 类型，支持 deployment、daemonset、statefulset、job、cronjob
        name: sample-app                         ## workload 的名字
        namespace: prod                          ## workload 的命名空间

    hostFile:                                    ## 节点文件路径，仅在 type:host_file 时生效
      filePattern: '*.log'                       ## 日志文件名，支持通配符 * 和 ? ，* 表示匹配多个任意字符，? 表示匹配单个任意字符
      logPath: /tmp/logs                         ## 日志文件夹，支持通配符 * 和 ? ；* 表示匹配多个任意字符，? 表示匹配单个任意字符
      
      ## 指定容器内多个日志路径和文件，该参数和 logPath、filePattern 不兼容，只能指定 filePaths 或者(logPath、filePattern)
      ## 如果从(logPath 和 filePattern) -> filePaths 会触发日志重采；相反从 filePaths->logPath 和 filePattern)也一样
      filePaths:                                
      - file: /var/logs                          ## 日志文件夹，支持通配符 * 和 ？；* 表示匹配多个任意字符，? 表示匹配单个任意字符
        path: app_*.log                          ## 日志文件名，支持通配符 * 和 ? ；* 表示匹配多个任意字符，? 表示匹配单个任意字符
      - file: /var/logs1
        path: app_*.log
      
      customLabels:                              ## 用户自定义 metadata
        label1: v1