展开

关键词

首页关键词linux 系统日志收集

linux 系统日志收集

相关内容

消息队列 CKafka

消息队列 CKafka

分布式、高吞吐量、高可扩展性的消息服务,100%兼容开源 Apache Kafka 0.9 0.10
  • 列出日志收集规则

    接口描述本接口(ListLogCollector)用于获取某个集群中所有已经创建的日志收集规则。成功时返回 Success,错误时返回具体业务错误原因String message模块错误信息描述,与接口相关String data日志收集规则相关数据Object data 字段的结构如下: 参数名称描述类型logCollectorList日志收集规则列表Array totalCount此集群中日志收集规则的总数目Integer logCollectorList 字段中每个 Object 的结构如下: 参数名称描述类型收集类型。“container-log”代表收集容器日志,“host-log”代表收集主机日志String outputType消费类型。
    来自:
  • 删除日志收集规则

    接口描述本接口(DeleteLogCollector)用于删除已经创建的日志收集规则。参数名称描述类型必选 name收集规则名称String是 clusterId集群 IDString是 输出参数 参数名称描述类型 code公共错误码。Timestamp=1520306194&Region=xx&Uin=xxxxxxxxxx&AppId=xxxxxxxxxx&name=test-log&clusterId=cls-xxxxxxxx
    来自:
  • 更新日志收集规则

    参数名称描述类型必选 clusterId集群 ID,请填写 查询集群列表 接口中返回的 clusterId 字段String是 name收集器名称String是 description日志收集器描述String否 inputType收集类型,收集容器日志请传“container-log”,收集主机日志请传“host-log”String是 outputType消费类型,输出到kafka请传“kafka”,输出到ckafka请传“ckafka”,输出到cls请传“cls”String是 inputOption收集选项,参考收集和消费选项Object是 outputOption消费选项,参考收集和消费选项Object时,需要传入的 inputOption 结构为 参数名称描述类型必选 path收集的主机日志文件的路径,支持通配路径String是 labels为对应的日志记录附加的 metadata,仅支持 k-v“container-log”代表收集容器日志,“host-log”代表收集主机日志String outputType消费类型。
    来自:
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年99元,还有多款热门云产品满足您的上云需求

  • 创建集群日志收集规则

    收集容器日志请传“container-log”,收集主机日志请传“host-log”String是 outputType消费类型。输出到 Kafka 请传“kafka”,输出到CKafka 请传“ckafka”,输出到 CLS 请传“cls”String是 inputOption收集选项,参考 收集和消费选项Object是 outputOption消费选项,参考 收集和消费选项Object是 收集和消费选项使用此接口创建日志收集器时,根据 inputType 和 outputType 传入值的不同,inputOption 和 outputOption时,需要传入的 inputOption 结构为 参数名称描述类型必选 path收集的主机日志文件的路径,支持通配路径String是 labels为对应的日志记录附加的 metadata,仅支持 k-v“container-log”代表收集容器日志,“host-log”代表收集主机日志String outputType消费类型。
    来自:
  • 获取日志收集器信息

    接口描述本接口 (GetLogCollector ) 用于获取已经创建的日志收集规则。成功时返回 Success,错误时返回具体业务错误原因String message模块错误信息描述,与接口相关String data日志收集规则相关数据Object data 字段的结构如下 参数名称描述类型logCollectorList日志收集规则Object logCollectorList 字段中 Object 的结构如下 参数名称描述类型 name收集规则名称,集群范围内唯一,不可重复StringclusterId集群 iIDString clusterName集群名称String createdAt收集规则的创建时间String inputType收集类型,“container-log”代表收集容器日志,“host-log”代表收集主机日志String outputType消费类型,"kafka"代表输出到 Kafka,“ckafka”代表输出到 CKafkaString inputOption
    来自:
  • 检查日志收集器名称

    接口描述本接口(CheckIfLogCollectorName)用于查看某个集群是否拥有相同名称的日志收集规则。参数名称描述类型必选 clusterId集群 IDString是 name收集规则名称String是 输出参数 参数名称描述类型 code公共错误码。成功时返回 Success,错误时返回具体业务错误原因String message模块错误信息描述,与接口相关String data日志收集规则相关数据Object data 字段的结构如下 参数名称描述类型=19232&Timestamp=1520304846&Region=xx&Uin=xxxxxxxxxx&AppId=xxxxxxxxxx&clusterId=cls-xxxxxxxx
    来自:
  • 【ES私房菜】收集 Linux 系统日志

    ES环境已经就绪,我们需要先调通一类简单日志作为数据上报全链路的试运行。恰好Linux系统日志就是这样一个角色,随处可见,风险可控。这里,我们选择了2种Linux系统日志:varlogmessages 和 varlogcron。一、部署Filebeat 按照《【ES私房菜】Filebeat安装部署及配置详解》在需要采集系统日志的系统上部署filebeat,然后编写如下配置: vim filebeat.yml #########=> } ] # 如果成功匹配,则加一个匹配标签 add_tag => } # 如果标签不存在则丢弃这条消息 if (matched not in ) { drop {} } date { # 对日志里面的时间戳进行格式转换remove_field => offset remove_field => tags remove_field => type remove_field => host } }output { # 上报系统日志
    来自:
    浏览:1643
  • 启用集群日志收集服务

    接口描述本接口(EnableLogDaemon)用于确认开启集群的日志服务。接口请求域名:ccs.api.qcloud.com。=30429&Timestamp=1520304791&Region=xx&Uin=xxxxxxxxxx&AppId=xxxxxxxxxx&clusterId=cls-xxxxxxxx
    来自:
  • Linux 系统安装 cloud-init

    安装 cloud-init 推荐以下两种方式: 通过 手工下载 cloud-init 源码包方式 通过 使用软件源上的 cloud-init 包方式 注意事项在导入 Linux 系统镜像前,请确保您的镜像内部已正确安装了说明: 如果您使用的操作系统为 Ubuntu,请切换至 root 帐号。修改 cloud-init 配置文件根据不同操作系统,下载 cloud.cfg。点此下载 Ubuntu 操作系统的 cloud.cfg。点此下载 CentOS 操作系统的 cloud.cfg。针对 Ubuntu 或 Debian 操作系统,需执行以下命令。ln -s usrlocalbincloud-init usrbincloud-init 所有操作系统都需执行以下命令。修改 cloud-init 配置文件根据不同操作系统,下载 cloud.cfg。点此下载 Ubuntu 操作系统的 cloud.cfg。点此下载 CentOS 操作系统的 cloud.cfg。
    来自:
  • 容器服务

    删除集群伸缩组,删除集群伸缩组 label,启用集群伸缩组,查询集群伸缩组列表,重置集群伸缩组 label,修改 Ingress,创建 Ingress,删除 Ingress,查询 Ingress 列表,创建集群日志收集规则,删除日志收集规则,更新日志收集规则,启用集群日志收集服务,检查日志收集器名称,列出日志收集规则,获取日志收集器信息,获取服务实例日志,修改服务的标签(Label)信息,获取服务的 yaml 文本信息,修改集群属性,添加第三方私有镜像仓库,获取集群外网访问凭据,取消收藏,添加收藏,查询 Tencent Hub 仓库列表,校验 CIDR,获取日志收集器状态信息,创建空集群,查询加入集群的主机列表,设置集群节点为是否可调度,创建集群日志收集规则,删除日志收集规则,更新日志收集规则,启用集群日志收集服务,检查日志收集器名称,列出日志收集规则,获取日志收集器信息,获取服务实例日志,修改服务的标签(Label)信息,获取服务的yaml 文本信息,修改集群属性,添加第三方私有镜像仓库,获取集群外网访问凭据,取消收藏,添加收藏,查询 Tencent Hub 仓库列表,校验 CIDR,获取日志收集器状态信息,创建空集群,查询加入集群的主机列表
    来自:
  • 主机安全

    产品概述,功能介绍与版本比较,产品优势,Linux 入侵类问题排查思路,Windows 入侵类问题排查思路,功能行为描述,客户端进程说明,购买专业防护,快速入门,文件查杀,异常登录,安全基线检测列表,系统组件漏洞,查询常用登录地,删除异地登录记录,卸载云镜客户端,删除暴力破解记录,关闭专业版,获取概览统计数据,获取区域主机列表,获取机器详情,忽略漏洞,设置新增主机自动开通专业版配置,获取专业版信息,数据结构,Linux,更新基线策略信息,获取恶意请求列表,查询机器操作系统列表,专家服务,资产管理,获取机器地域列表,导出漏洞检测报告,导出本次漏洞检测Excel,查询批量导入机器信息,获取ES查询文档列表,获取快速检索列表,获取历史搜索记录,导出ES查询文档列表,获取日志检索容量使用统计,获取索引列表,查询日志检索服务信息,获取ES字段聚合结果,删除检索模板,添加检索模板,添加历史搜索记录,获取密码破解列表,导出资产管理内核模块列表,获取历史搜索记录,导出ES查询文档列表,获取日志检索容量使用统计,获取索引列表,查询日志检索服务信息,获取ES字段聚合结果,删除检索模板,添加检索模板,添加历史搜索记录,获取密码破解列表,导出资产管理内核模块列表
    来自:
  • 云硬盘

    续费云硬盘询价,查询云硬盘配额,续费云硬盘,扩容云硬盘询价,退还云硬盘,功能相关问题,使用相关问题,快照相关问题,性能相关问题,关于快照商业化的公告,退费说明,跨地域复制快照,词汇表,计费相关问题,查询云盘操作日志列表,错误码,地域和可用区,云硬盘状态,相关产品,计费概述,步骤1:创建云硬盘,步骤2:挂载云硬盘,步骤3:初始化云硬盘,操作总览,签名方法 v3,查询快照操作日志列表,扩容场景介绍,快照原理,初始化场景介绍,扩展 MBR 分区及文件系统(小于2TB),扩展 GPT 分区及文件系统(大于2TB),Linux 云服务器重启后云硬盘未自动挂载,在线扩展分区及文件系统,云硬盘数据防护配置,步骤4:扩容云硬盘(可选,错误码,地域和可用区,云硬盘实例,云硬盘状态,相关产品,计费概述,快速入门,步骤1:创建云硬盘,步骤2:挂载云硬盘,步骤3:初始化云硬盘,操作总览,签名方法 v3,查询快照操作日志列表,扩容场景介绍,(Linux),确认扩展方式,裸盘扩展文件系统,扩展 MBR 分区及文件系统(小于2TB),扩展 GPT 分区及文件系统(大于2TB),故障处理,Linux 云服务器重启后云硬盘未自动挂载,在线扩展分区及文件系统
    来自:
  • 持续集成

    调取已录入的凭据,触发方式,构建环境,构建快照,环境变量,缓存目录,权限说明,快速自动部署静态网站,使用 CVM 支持 CI 构建任务,构建节点介绍,macOS 环境作为构建节点,Windows 环境作为构建节点,Linux,cci-agent 说明,构建节点与节点池,常见问题,增量检查,Markdown 代码规范,Markdown 代码块编程语言清单,PHP 代码规范,Java 代码规范,自动部署到云存储,自动部署到 Linux服务器,自动部署到 K8s 集群,通用报告收集,构建 Docker 类型制品,构建 Maven 类型制品,构建 npm 类型制品,构建 Composer 类型制品,快速入门,Jenkinsfile 语法相关问题,构建执行相关问题,分组管理,上传 API 文档,置底执行,使用 SSH 登录远端服务器,保存 Dockerfile 镜像,定时同步开源代码仓库,自动化测试,云存储,Linux 服务器,K8s 集群,Docker服务器,自动部署到 K8s 集群,通用报告收集,持续交付到制品库,构建 Docker 类型制品,构建 Maven 类型制品,构建 npm 类型制品,构建 Composer 类型制品,快速入门,常见问题
    来自:
  • 堡垒机

    使用 Web 登录,使用 XFTP 登录,使用 Web 登录,使用 PuTTY 登录,单点登录,在线会话审计,编辑账号,删除账号,查询账号,批量修改口令,批量修改鉴别状态,批量修改接管状态,查看口令修改日志,删除任务,查询任务,查看操作日志,查看执行日志,历史会话审计,安全认证审计,基础信息维护审计,计费概述,欠费说明,退费说明,系统监控,修改组织角色,删除组织角色,添加用户类型,Windows 系统安装证书使用静态口令登录,使用动态口令登录,使用证书登录,使用 AD 域认证登录,购买部署相关,创建任务,授权列表,使用 XFTP 登录,登录 Windows 资源,使用 Web 登录,使用 XFTP 登录,登录 Linux,查询任务,查看操作日志,查看执行日志,历史会话审计,安全认证审计,基础信息维护审计,计费概述,欠费说明,退费说明,系统监控,修改组织角色,删除组织角色,添加用户类型,Windows 系统安装证书,常见问题,配置全局认证方式,使用 XShell/SecureCRT 登录,根节点,删库等高危命令阻断,服务器真实密码隐藏,安全事故事后追溯,系统维护,配置 Syslog,配置消息公告,运维安全水印,自维护,查询审计日志
    来自:
  • Linux内核之旅张凯捷—系统调用分析(3) (基于最新Linux-5.0版本系统调用日志收集系统)

    本篇中将基于最新的Linux-5.0内核,添加一个系统调用,完成一个“系统调用日志收集系统”; 并对这三篇文章进行一个总结。1系统调用日志收集系统的目的 系统调用是用户程序与系统打交道的入口,系统调用的安全直接关系到系统的安全,如果一个用户恶意地不断调用fork()将导致系统负载增加,所以如果能收集到是谁调用了一些有危险的系统调用2系统调用日志收集系统概述?图3-1 系统调用日志收集系统示意图 根据示意图,系统调用日志收集系统所做工作为:当用户进程执行系统调用,运行到内核函数do_syscall_64时,进行判断是否为我们需要记录的系统调用,如果是我们需要记录的系统调用则通过最后在Linux-5.0内核上完成一个系统调用日志收集系统,其中包含着添加系统调用,编译内核,修改内核代码,添加内核模块,编写用户态程序测试。
    来自:
    浏览:382
  • 云服务器

    WinSCP 上传文件到 Linux 云服务器,Windows 系统通过 FTP 上传文件到云服务器,Linux 或 MacOS 系统通过 SCP 上传文件到 Linux 云服务器,Linux 常用操作及命令系统通过 FTP 上传文件到云服务器,修改云服务器远程默认端口,调整安全组优先级,Linux 系统使用 USB/IP 远程共享 USB 设备,Windows 系统使用 RemoteFx 重定向 USBto XXX failed logins,VNC 登录输入正确密码后无响应,VNC 或 SSH 登录报错 Permission denied,TencentOS Server 特性,实例内存使用率过高,日志报错WinSCP 上传文件到 Linux 云服务器,Windows 系统通过 FTP 上传文件到云服务器,Linux 或 MacOS 系统通过 SCP 上传文件到 Linux 云服务器,Linux 常用操作及命令实例内存相关故障,实例内存使用率过高,日志报错 fork:Cannot allocate memory,VNC 登录报错 Cannot allocate memory,实例内存未耗尽时触发 Out Of
    来自:
  • Linux 系统检查 Virtio 驱动

    步骤3:重新配置临时文件系统如果 步骤2 的执行结果显示临时文件系统 initramfs 或者 initrd 没有包含 virtio 驱动,则需要重新配置临时文件系统 initramfs 或者 initrduname -r返回类似如下结果,当前系统使用的内核版本为2.6.32-642.6.2.el6.x86_64。前往 Linux 内核下载页面,下载对应的内核版本源码。例如,2.6.32-642.6.2.el6.x86_64版本的内核下载 linux-2.6.32.tar.gz 的安装包,其下载路径为:https:mirrors.edge.kernel.orgpublinuxkernelv2.6linuxtar -xzf linux-2.6.32.tar.gz执行以下命令,建立链接。ln -s linux-2.6.32 linux执行以下命令,切换目录。按 “Esc” 返回 “Linux Kernel vX.X.XX Configuration” 主界面。
    来自:
  • Go实现海量日志收集系统(一)

    针对以上问题,我们想要实现的一个解决方案是:把机器上的日志实时收集,统一的存储到中心系统然后再对这些日志建立索引,通过搜索即可以找到对应日志通过提供界面友好的web界面,通过web即可以完成日志搜索关于实现这个系统时可能会面临的问题:实时日志量非常大,每天几十亿条(虽然现在我们公司的系统还没达到这个级别)日志准实时收集,延迟控制在分钟级别能够水平可扩展关于日志收集系统,业界的解决方案是ELK?其实我们想要的系统是agent可以动态的获取某个服务器我们需要监控哪些日志以及那些日志我们需要收集,并且当我们需要收集日志的服务器下线了,我们可以动态的停止收集当然这些实现的效果最终也是通过web界面呈现日志收集系统设计主要的架构图为?关于各个组件的说明:Log Agent,日志收集客户端,用来收集服务器上的日志Kafka,高吞吐量的分布式队列,linkin开发,apache顶级开源项目ES,elasticsearch,开源的搜索引擎
    来自:
    浏览:1199
  • 获取日志收集器状态信息

    接口描述本接口 ( GetLogDaemonStatus ) 用于获取集群日志启用状态。成功时返回 Success,错误时返回具体业务错误原因String message模块错误信息描述,与接口相关String data日志收集规则相关数据Object data 字段的结构如下: 参数名称描述类型enabel是否开启了日志收集服务Bool currentNumberScheduled当前安装了日志 agent 的节点数量Integer desiredNumberScheduled期望安装了日志Action=GetLogDaemonStatus &clusterId=cls-xxxxxx &其它公共参数输出{ data:{ code:0, message:, codeDesc:
    来自:

扫码关注云+社区

领取腾讯云代金券