展开

关键词

精简箱Bootstrapping: Kickstart、Cobbler、rpmbuildxen、kvm、lxc、Openstack、 Cloudstack、Opennebula、Eucalyplus 、RHEV配置类: Capistrano、Chef、puppet、func、salstack、Ansible、rundeck、CFengine、Rudder自动化构建和测试: Ant、Maven、Selenium 、PyUnit、QUnit、JMeter、Gradle、PHPUnit监控类: Cacti、Nagios(Icinga)、Zabbix、基于时间监控前端Grafana、Mtop、MRTG(网络流量监控图形 nmon(类Unix系统性能监控)、slabtop(内核slab缓存信息)、sar(性能监控和瓶颈检查)、sysdig(系统进程高级视图)、tcpdump(网络抓包)、iftop(类似top的网络连接 )、iperf(网络性能)、smem)(高级内存报表)、collectl(性能监控)、TCP优化监控tcpdive免费APM:  mmtrix(见过的最全面的分析)、alibench

717100

Hadoop集群

如果上面行有datanode和nodemanager,启动相关进程:hadoop-daemon.sh start datanodeyarn-daemon.sh start nodemanage 场景3 总结: 这样既能及时发现磁盘故障,也能将磁盘故障对hadoop集群的影响降至最低。 日后正常护:磁盘故障报警后联系sa更换磁盘,更换完记得调整磁盘权限,然后重启datanode进程。 注:这两个线程都是各自以6小时为周期,两个线程间没有固定时间间隔,各自作。 注:这部分请参考spark on yarn故障https:blog.csdn.netqq_35488412articledetails91041983 1.1 磁盘故障对yarn nodemanager 场景4部分:体细节请参见:spark on yarn故障:https:blog.csdn.netqq_35488412articledetails91041983 相关资料参考:NameNode内存模型

76110
  • 广告
    关闭

    最壕十一月,敢写就有奖

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    java IT

    IT箱应用信息ping检测;端口扫描;portscan;IP地址扫描;网络检测 端口扫描,ping检测,范围主机发现更新内容:全面支持多线程扫描。 提升效率。 界面优化。

    31020

    LInux常用

    系统监控top、htop多功能系统信息统计dstat、vmstat、iostat、netstat、nfstat、ifstat资源监控glances批量管理主机功能pssh网络监控ethtool 网络测试netperf文件打开lsof诊断strace

    30030

    浅谈体系

    行业正在变革,推荐阅读:30万年薪Linux程师成长魔法流程管理发布变更流程管理:做为系统接口与其他角色的作衔接。并提供审批环节控制发布变更的风险。 发布变更版本管理(数据库):所有的发布应该以版本管理为起点。研发给的版本包先入版本管理,再从版本管理分发到现网发布。杜绝 rsync 一台服务器发布另外一台的做法。 这就需要有一个服务调度统一调度配置和版本下发,流程单据,以及其他系统的API接口共同组装成一个流程。资源管理和隔离:以xenkvm为代表的可以更灵活的切割资源。 发布变更统一界面:包装所有的下层,提供简单的界面完成标准化的发布变更操作。监控告警采集:一般是采集日志文件,也可以是定时轮询 DB 或者其他系统的接口。 告警收敛:综合所有来源的告警,进行频率收敛,根源分析。统一汇总成报告催促人修复。告警自动修复:接受告警进行自动化的处理。帮完成固定的故障机下架退库等操作。

    89580

    Linux 系统 OpenLMI

    前言 OpenLMI 是一个 Linux 平台的服务配置管理和应用部署,功能类似于目前业界的配置管理 Chef,Puppet,Saltstack。当你去管理 10 台服务器,你肯定会说小意思。 回页首 OpenLMI 功能 OpenLMI 提供了一套抽象层 API,将系统管理的相关作任务,以及底层系统作的复杂程序,统一起来。 OpenLMI 里面提供了一整套的代理程序包括:控制器、客户端程序与命令行码。 其中 LMIshell 客户端系统包括: 一组命令行和 lmi 交互命令 脚本(基于 Python 的 lmishell) 其他语言(包括 CC++、Java 等)组成结构如图 2 图 2. 状态颜色说明:在图 3 中看到 SMART Status 状态显示是 OK,所以显示为绿色,如果显示为黄色表示状态不明确(就是说系统没有检测的体的状态),如果显示为红色的 error 表示该模块没有正常

    70340

    自动化ansible

    企业级自动化应用实战ansible公司计划在年底做一次大型市场促销活动,全面冲刺下交易额,为明年的上市做准备。 公司要求各业务组对年底大促做准备,部要求所有业务容量进行三倍的扩容,并搭建出多套环境可以共开发和测试人员做测试,老大为了在年底有所表现,要求部门同学尽快实现,当你接到这个任务时,有没有更快的解决方案 GitHub关注程度(2016-07-10) 同类的自动化 Watch(关注) Star(点赞) Fork(复制) Contributors(贡献者) Ansible 1387 17716 5356 Puppet 463 4044 1678 425 Chef 383 4333 1806 464 Fabric 379 7334 1235 116 应用场景文件传输命令执行 应用部署配置管理任务流编排常用自动化 远程执行命令的 usrbinansible-vault 文件加密 usrbinansible-console 基于Console界面与用户交互的执行主机清单inventoryansible的主要功用在于批量主机操作

    36610

    rsync 利器,同步

    rsync - faster, flexible replacement for rcp

    21120

    【实用】网络自动化NetCfgTools

    为小江大佬原创开发,无私分享给大家,为各位从事网络方面的小伙伴造福了,提升了作效率。 1、功能介绍1.1已完成功能自定义设备名称,不同用户名、密码的设备可以批量同时行现有v 1.1最新版本包含exe及py两种文件格式,exe版本可以在Windows环境下直接行,py版本需要安装python 环境(3.6及以上),包括第三方包。 增加exe版本行相关提示:?满足每个设备操作需求,可以进行相同操作也可以是不同操作,按照使用者自定义的操作文档进行匹配,自动获取相关命令,进行设备操作(巡检命令或者配置命令)行相关截图:? 每个设备行完成会保存对应操作日志可供参考参考图例:?程序操作完有行报告可供参考,包括相关登陆信息和失败信息参考图例:?

    33740

    人员须熟悉的38个汇总

    人员必须熟悉的汇总:操作系统:Centos,※,Ubuntu,Redhat※,,suse,Freebsd网站服务:nginx※,,apache※,,lighttpd,php※,,tomcat varnishNOSQL库:Redis※,Memcached※,MongoDB※,HBase,Cassandra※,CouchDB,Tyrant※存储相关:Nfs※,FastDF※S,Moosefs(mfs※,Hadoop ,ntop※,tc※,iftop邮件软件:qmail,posfix※,sendmail,zimbra远程拨号:openvp※,pptp※,openswan※,ipip※统一认证:openldap※队列 Hive,Hbase,Zookeeper,Pig,Spark, Mahout,flume,sqoop开发语言:Shell※,Python※,go※提示:(1)带※的为最近几年用的比较多,也是近年来linux的大众

    1.1K00

    DevOps 自动化选择

    这时候,数据中心协调和配置管理就派得上用场。在许多情况下,我们管理大批同样的服务器,它们行同样的应用程序和服务。 Puppet、Chef、Ansible和Salt都是为了实现这个目标而开发的:让用户极容易配置和护数十台、数百台、乃至数千台服务器。 这倒不是说小公司就不会得益于这些,因为自动化和协调技术通常可以简化任何规模的基础设施的正常行。 深入测评这四款中的每一款,探究各自的设计和功能,可以发现:虽然一些的得分更高,但每款都有一席之地,这取决于部署的目的。?Puppet也许是四款中最深入人心的。 你可以使用那个内置的同步,让两者保持一致,但需要按照预定计划行同步

    1.4K30

    MySQL 8.0 官方集合

    谈到官方,大家都会用到mysqldump,其实除了这个之外还有一些实用的,今天帮大家梳理一下。 以下环境基于MySQL 8.0.25版本。 非常实用,日常离不开。4.mysqlcheckmysqlcheck客户端执行表护:检查、修、优化或分析表。执行期间读锁。 总结就是替代一部分功能,提高效率的。若想在MySQL中提高作效率,就需要引入这些,也需要使用得当,理解并熟悉用法,才是之道。 ,自动化等。 2年多开发经验,10年数据库作经验,其中专职做MySQL作8年;曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务;涉及行业:金融(银行、理财)、物流、游戏、医疗、

    12630

    自动化Ansible之Pytho

    Ansible 的Python API使用起来相当简单快捷,使用API可以将某些操作封装成一个带有WEB界面的操作,免去了每次执行某个操作的时候都需要SSH行Ansible命令。

    21210

    Snova篇(一):基础和命令

    本节主要从基础和命令开始逐步深入GP集群的作。 图片.png目录:启停数据库访问数据库----基本概念:----1.启停数据库启动Greenplum数据库gpstart来启动一个已经由gpinitsystem初始化好但已经被gpstop停止的 gpadmin-:- Shutdown mode = fast2.访问数据库建立会话支持的客户端应用命令行接口 psql标准数据库应用程序接口 JDBC+ODBC使用ODBC和JDBC等标准数据库接口的客户端 score | team----+--------+-------+------ 1 | 库里 | 28.3 | 勇士 3 | 阿杜 | 25.6 | 勇士使用PgBouncer连接池PgBouncer管理用于 gpstate来验证Greenplum数据库系统是否正常行。

    23120

    hadoop入门:第十章hadoop

    问题导读 1.hadoop有哪些?2.hadoop流的作用是什么?3.hadoop集群负载如何模拟?4.hadoop数据提取和分析是哪个? 1.Hadoop 流 文档简介Hadoop的数据流是自带的Hadoop发行版的实用程序。这个程序允许你创建和行可执行的MapReduce jobs或则脚本,作为mapper或则reducer。 hadoop.apache.orgdocsr2.7.2hadoop-archivesHadoopArchives.html 3.DistCp指南 文档简介 DistCp Version 2 (分布式 copy) 是一个用于大的 为行 GridMix,你需要一个MapReduce job 跟踪描述给定集群的混合job 英文文档http:hadoop.apache.orgdocsr2.7.2hadoop-gridmixGridMix.html 5.Rumen 文档简介Rumen是Apache的Hadoop构建的数据提取和分析 英文文档http:hadoop.apache.orgdocsr2.7.2hadoop-rumenRumen.html

    59850

    Linux自动化之ansible(一)

    豌豆贴心提醒,本文阅读时间5分钟 自动化是发展的必然方向,同时也是一个程师实现效率最大化的必然选择。自动化的知识可以说是浩瀚如海,本文将选择其中一个ansible为大家介绍一下。 ansible是新出现的是基于Python研发的糅合了众多老牌的优点实现了批量操作系统配置、批量程序的部署、批量行命令等功能。 常见的作模式1、agent模式: 基于ssl实现。代理作在被监控端。像puppet。2、agentless模式: 基于ssh服务实现作在被监控端。监控端是ssh的客户端。 ansible是作在agentless模式下有幂等性。ansible在控制端只需要告诉监控端的期望状态就可以实现批量部署。名词解释幂等性不会重复执行相同的指令。 真正有批量部署的是ansible所行的模块ansible只是提供一种框架。架构包括连接插件connection plugins负责和被监控端实现通信。

    1.1K50

    Linux自动化之ansible(二)

    行自下而下某playbook时,如果中途发生错误,所有已执行任务都将回滚,因此,在更正playbook后重新执行一次即可。task的目的是使用指定的参数执行模块,而在模块参数中可以使用变量。 tagstags用于让用户选择行或路过playbook中的部分代码。ansible有幂等性,因此会自动跳过没有变化的部分,即便如此,有些代码为测试其确实没有发生变化的时间依然会非常地长。

    40660

    真的很容易做吗

    在从研发转到之前,我一直就觉得这东西,应该是相当简单的,但在我自己带领一个团队一年多后,完全颠覆了我自己以前对的认知,才真正明白了这东西要做好,对技术的要求其实是极高的 之前之所以觉得简单,是因为从在线业务系统角度来看,访问量低,数据量也很小,完全看不到什么技术难点。 在带领一个团队一年多后,看到的是系统对技术的要求其实和在线业务系统只是角度不同而已,先看看系统主要承担的职责:1. 操作的自动化;2. 因此从对系统需要承担的职责分析来看,在技术上系统其实也是有相当高的要求的,怎么样能保障好成功率、救命操作简单按钮的绝对稳定可靠,是系统必须做到的。 所以,小看了系统的同学们,包括从前的自己,请正视系统面临的技术挑战,有兴趣的同学欢迎一起加盟来挑战!

    40180

    Linux 下 PHP 开发常用

    在终端打印 php 信息,再查找 php.ini 内容php -i | grep php.ini此外,还可以通过 ps 命令查找配置# ps:process status 缩写,功能是显示当前系统进程行快照 MySQL 服务 service mysql start 重启 MySQL 服务 service mysql restart 停止 MySQL 服务 service mysql stop 查看 MySQL 行状态

    48710

    自动化——puppet详解(一)

    资源简介3、常用资源总结4、资源的特殊属性5、puppet 变量6、puppet 流程控制语句写在后面正文回到顶部一、puppet 介绍1、puppet是什么 puppet是一个IT基础设施自动化管理 然后在自己的机器上行,并将结果返回给 master 端。  架构和作原理如下:架构?masteragent模式架构作原理? 2、puppet 资源简介1)资源抽象   puppet 从以下三个度来对资源完成抽象: 相似的资源被抽象成同一种资源**“类型”** ,如程序包资源、用户资源及服务资源等;将资源属性或状态的描述与其实现方式剥离开来 ,如仅说明安装一个程序包而不用关心其体是通过yum、pkgadd、ports或是其它方式实现;仅描述资源的目标状态,也即期望其实现的结果,而不是其体过程,如“确定nginx 行起来” 而不是体描述为 体语法如下:CONTROL_VARIABLE ?

    89810

    相关产品

    • 自动化助手

      自动化助手

      自动化助手(TAT)是云服务器的原生运维部署工具。通过自动化助手,您无需登录服务器,也无需打开入站端口、SSH,便可以直接管理实例,批量执行 Shell 命令,轻松完成运行自动化运维脚本、轮询进程、安装或卸载软件、更新应用以及安装补丁等常见管理任务。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券