最近IDC上架了一批hadoop大数据业务服务器，由于集群环境需要在这些服务器之间实现ssh无密码登录的相互信任关系。具体的实现思路：在其中的任一台服务器上通过"ssh-keygen -t rsa"产生公私钥文件，然后将公钥文件拷贝成authorized_keys文件，最后将它的.ssh目录下的文件全部批量拷贝到其他服务器的/root/.ssh目录（即当前用户家目录的.ssh）下即可。这批hadoop服务器的ssh端口默认都是22，密码默认都是kevin123456，ip列表如下: 192.168.10.2
之前写了一篇介绍 Ansible 的文章 ，今天回顾看来写的有些匆忙，一些具体的操作步骤都没有讲明白，不利于读者复现学习。最近又申请了一个几百台机器的环境，正好借此机会把如何在离线环境中使用 Ansible 详细记录一下。
按照集团运维信息安全制度, 需要每个一段时间对线上服务器密码进行一次变更，通过shell脚本部署比较繁琐，所以决定采用ansible脚本对远程主机root密码进行批量重置，该脚本已经在稳定运行在正式环境下。具体方法如下:
堡垒机是种具备强大防御功能和安全审计功能的服务器。基于跳板机理念，作为内外网络的个安全审计监测点，以达到把所有网站安全问题集中到某台服务器上解决，从而省时省力，同时，运维堡垒机还具备了对运维人员的远程登录进行集中管理的功能作用。
前言：本文中所引用的文档均为Redhat 技术专家杨金锋所提供。此方案，大卫也多次请教红帽技术专家陈镇。 密码管理系统的必要性 在大多数客户数据中心内部，密码管理都是一个很令人头疼的问题。为什么呢？ 第一，数据中心中设备：Linux、AIX、Windows、数据库等的密码复杂度要符合要求，避免轻易被破解。 第二，数据中心设备的密码，需要定期修改，以保证安全性。 针对这种情况，我们当然可以定期手工修改数据中心设备的密码，但这带来三个问题： 手工修改工作量太大。想象一下，给几百个系统修改root密码的感觉？
选自the Morning Paper 作者：Adrian Colyer 机器之心编译 参与：黄小天、路雪、李泽南 「信息瓶颈」（Information Bottleneck）理论由耶路撒冷希伯来大学的计算机与神经科学家 Naftali Tishby 等人提出。该研究有望最终打开深度学习的黑箱，并解释人脑的工作原理（参见：揭开深度学习黑箱：希伯来大学计算机科学教授提出「信息瓶颈」）。Geoffrey Hinton 曾对此研究评论道：「信息瓶颈极其有趣，估计要再听 10000 遍才能真正理解它，当今能听到如此
设置互信信息 首先添加rac2节点 依次点击 SSH Connectivity ,填写 oracle 密码，最后点击setup，安装程序会自动建立两节点互信 如之前建立过互信需勾选 reuse private and publick key选项
8.0 是一款基于 B/S 架构【轻量企业级免费ETL任务批量处理工具】它支持各类脚本任务程序和扩展；具备可视化图形拖拽设计界面，以及可视化任务作业管理、计划调度、实时监控、消息提醒和日志分析功能；有效弥补了传统 ETL 工具在调度管理和监控分析方面不足；同时平台还提供原数据管理、数据质量、版本控制、日志分析等完善的辅助管理功能，为企业提供数据迁移、数据仓库、数据标准化、数据同步、数据备份、数据交换以及企业定制化二次开发在内的一体化数据整合服务。
解压 p13390677_112040_Linux-x86-64_3of7.zip 文件提取grid安装文件
需求：四台Linux主机,IP地址为192.168.10.10/11/12/13,配置登录用户的互信 1.各节点ssh-keygen生成RSA密钥和公钥
一般使用scp远程拷贝操作时，需要输入目标服务器的用户名和密码，这个时候可以做linux服务器之间ssh互信配置， 这样在多个linux服务器之间做操作时就可以免密登陆。
公钥认证的基本思想 对信息的加密和解密采用不同的key，这对key分别称作private key（私钥）和public key（公钥），其中，public key存放在欲登录的服务器上，而private key为特定的客户机所持有。当客户机向服务器发出建立安全连接的请求时，首先发送自己的public key，如果这个public key是被服务器所允许的，服务器就发送一个经过public key加密的随机数据给客户机，这个数据只能通过private key解密，客户机将解密后的信息发还给服务器，服务器验证正
之前在《记录一则Linux SSH的互信配置过程》、《Vertica 7.1安装最佳实践（RHEL6.4）》中，都分别提到了配置ssh互信的方法，本文在此基础上进一步整理配置ssh互信的方法，目的是将步骤尽可能的简化，从而更加适合在较大规模的集群中对ssh互信进行快速配置。
阿里云95块钱买的ECS要到期了，续费的话需要1000多。想了想服务器上也没啥重要的东西，于是趁着腾讯云折扣，花了288买了个三年的CVM。CVM就是一个云虚拟机，这里就暂且叫它服务器。
简介：MGR（组复制）官方推荐用MySQL router中间件去做MGR高可用故障转移，但其多过了一层网络，性能会下降，并且需要额外维护一套中间件，运维成本过高，于是写了一个类似MHA的master_ip_failover脚本，实现VIP切换。
本节主要从snova原生环境-greenplum编译安装入手，熟悉原生环境操作及使用。
在MySQL搭建MHA高可用架构的时候，需要打通master、slave、以及mha manager之间的ssh互信，通常情况下，运维人员需要手动打通ssh互信，在自动化构建的过程中很不方便。如果可以使用自动化的脚本打通服务器之间的ssh互信，对自动化运维会有很大的帮助。
出了太多的自动化脚本了。相信大家记的也比较辛苦。这几天波哥准备抽时间写个核心驱动。全都归纳进来，因为是本职工作就是写devops工具的，为了规避道德问题，我只能拿出部署这一块内容做个开源的工具。框架也要和我现在已经在开发的平台保持差异化！所以信息流和数据流要重新设计！
在N多年前，搭建Oracle RAC环境的时候，其中有一项非常艰巨的任务就是配置节点服务器的互信关系，每次到了这个部分的时候就有点晕，因为文件需要在两个节点间拷过来，拷过去。 每次到了这个部分，就需要打开我的攻略笔记，然后严格按照上面的步骤来完成。到了OCM考试的时候，当时Oracle是提供了一个建立互信关系的脚本，直 接运行即可。搭建的过程省事不少。到了11g的RAC搭建中，在检查项中有一个就是建立互信关系，只需要在界面上点击即可完成。可见互信关系的建立过程是 越来越简化了。 当然回到工作环境中
只需要在管理机上安装，推荐使用 yum install ansible。 被管理机上需要有python环境。
Cloudera Replication Manager（以下简称为 RM,旧版本的CM中简称为BDR）为数据迁移提供了一个集成式的易用管理解决方案，通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作 ，本文主要介绍如何配置及使用RM进行HDFS和Hive 复制
1、因子筛选应与所用模型相匹配，若是线性因子模型，只需选用能评估因子与收益间线性关系的指标，如IC、Rank IC；若是机器学习类的非线性模型，最好选用能进一步评估非线性关系的指标，如 Chi-square 及 Carmer's V 等；
在 linux 系统管理中，设置免密码登录，进行机器的批量管理是最常用的一个方法。比如针对几十甚至上百台线上机器，通常我们会设置一台“发布机”作为中央控制机对其它线上机器免密码登录，然后进行软件、配置文件的分发、更新、部署。当然了，针对上面的问题，解决方案并非最优且唯一，比如你也可以用 expect 模拟自动输入来完成自动登录验证这一过程，或者用现在一些开源的软件自动化配置和部署工具，比如 Puppet，但这都不在本文的讨论范畴，今天咱们要说的就是这种最原始、最有效、最直接的方式：免密码登录。 （1）问题：
最近是沉迷于TiDB，无法自拔，从TiDB集群部署到集群压测、高可用测试、再到参数调优，最后到线上业务从MySQL迁移到TiDB，整个过程下来，感觉整个学习成本还是比较高，不管是TiDB还是分布式数据库，要学习的内容还是非常的多；本文主要分享生产环境部署TiDB v5.0.3版本集群过程，供大家参考学习；
在这篇文章中，我们要简单介绍Facebook 的“Deep Clustering for Unsupervised Learning of Visual Features”。
前言 上篇文章我们介绍了使用pacemkaer+corosync实现简单的nginx高可用， 这篇文章我们介绍如何使用pacemaker+corosync实现MySQL高可用， 并且此次我们手动编辑配
lsof -i:[port] netstat -anp |grep [port]
expect是交互性很强的脚本语言，可以帮助运维人员实现批量管理成千上百台服务器操作，是一款很实用的批量部署工具！ expect依赖于tcl，而linux系统里一般不自带安装tcl，所以需要手动安装 下载：expect-5.43.0.tar和tcl8.4.11-src.tar 下载地址：https://pan.baidu.com/s/1kVyeLt9 提取密码：af9p 将expect和tcl的软件包下载放到/usr/local/src目录下 （1）解压tcl，进入tcl解压目录，然后进入unix目录进
您或许听说过区块链。但如今网络上的很多内容，如果不结合一些参考资料的话就会难以理解。然后，我就在想“如果有人向我问起区块链，我是否能够跟他讲述清楚？”。如果您也遇到同样的问题，那么这篇文章适合您。 问题 任何技术只有在解决了某个业务问题时才有用，区块链也不例外。区块链可以解决多个问题。 📷 信任 当两方履行一份协议时，有一些方面需要灵活处理。但是，只有相互信任，交易才能高效执行。如果您同意以某个价格从我这里购买 X 个小部件，而且我们已建立信任，则交易会顺利进行。如果缺乏信任，交易通常会变得很复杂，而严重时
前言 基于Keepalived实现LVS双主高可用集群。什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了， 也就是所谓的高可用或热备，用来防止单点故障的发生。本文将详细讲述Keepalived工作原理及高可用解决方案的实现。 相关介绍 Keepalived简介 Keepalived采用VRRP(virtual router redundancy protocol，虚拟路由冗余协议)热备份协议，以软件的方式实现linux服务器的多机热备功能。VRRP是针对路由器
image-20200408140348506 就是在我们了解了其中的一个Y的前提下，对消除另一个X的不确定性说提供的信息量。
推荐系统会存储大量的用户与items交互数据，这些数据可以用二部图呈现。二部图对消除推荐系统中数据稀疏性和冷启动有着巨大的帮助。这篇主要总结了3个典型的GNN方法在推荐系统领域处理用户与items的二部图。
深度学习如今能够大获成功，其中的一大功臣便是大规模的标注数据。然而在大多数现实场景中，我们往往只能获得未经标注的大规模数据集，如果要对这么多数据进行人工标注，势必耗费大量的人力成本。在此前，研究界已经提出主动学习的方法来解决这一问题，然后采用该方法选择出来的数据可能存在大量重复的情况，从而造成标注冗余问题。
其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。
在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。
ansible是一种自动化运维工具,基于paramiko开发的,并且基于模块化工作，Ansible是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台，它是基于python语言，由Paramiko和PyYAML两个关键模块构建。集合了众多运维工具的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能.ansible是基于模块工作的,本身没有批量部署的能力.真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架.ansible不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的.
原理 双向,顾名思义,双方互通,此处的意思是多台 linux 两两免密登录.双向比单向多了些操作,单向只需把某一个linux的公钥发送给其他linux即可,而双向要实现集群中的每一台机器都保存其他所有 …
对于两个随机变量，MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
环境：HP-UX 11.31 + GI 11.2.0.4 + Oracle 11.2.0.4 背景：本文只对HP-UX平台安装11g RAC环境过程中，针对一些跟Linux平台有差异的地方进行简单记录备忘。 关于安装部署11g RAC的完整过程可参考：http://www.cnblogs.com/jyzhao/p/4679203.html
聚类算法的理想结果是同一类别内的点相似度高，而不同类别之间的点相似度低。聚类属于无监督学习，数据没有标签，为了比较不同聚类模型的好坏，我们也需要一些定量的指标来进行评估。根式是否提供样本的标签信息，相关的指标可以分为以下两大类
salt是一个异构平台基础设置管理工具(虽然我们通常只用在Linux上)，使用轻量级的通讯器ZMQ,用Python写成的批量管理工具，完全开源，遵守Apache2协议，与Puppet，Chef功能类似，有一个强大的远程执行命令引擎，也有一个强大的配置管理系统，通常叫做Salt State System。
近些年的顶会，出现了一部分利用互信息取得很好效果的工作，它们横跨NLP、CV以及graph等领域。笔者最近也在浸淫（meng bi）这一方向，在这里和大家简要分享一些看法，如有雷同，不胜荣幸。
波哥想了一下确实双向互信这个场景是存在的，也是普遍的。那么就顺手优化了一下这个脚本。
那么什么是互信息呢？变量x与变量y之间的互信息，可以用来衡量已知变量x时变量y的不确定性减少的程度，同样的，也可以衡量已知变量y时变量x的不确定性减少的程度。
在CentOS 7系统中，服务器之间实现互信一般使用SSH协议。SSH协议（Secure Shell）是一种网络协议，用于在不安全的网络中提供安全的加密通信和身份验证。通过SSH协议，可以在本地主机上执行命令，然后将结果传输回远程主机。
熵可以从随机变量状态需要的平均信息量角度理解, 也可以从描述统计力学中无序程度的度量角度理解.
AI 科技评论按：深度学习的发展带给人工智能领域的影响可谓是革命性的，然而该领域目前还存在很多未解决的问题，其中就包括不可解释性等问题。而希伯来大学计算机科学家和神经学家Naftali Tishby 等人提出的「信息瓶颈」理论，则尝试来解决神经网络的一系列问题，自提出以来便一直受到 AI 界的广泛关注。IBM 研究院也开展相关研究来分析这一理论，以期能够解决神经网络中的某些问题，相关成果发表在 IBM 研究院官网博客上，AI 科技评论编译如下。
关于相似性以及文档特征、词特征有太多种说法。弄得好乱，而且没有一个清晰逻辑与归类，包括一些经典书籍里面也分得概念模糊，所以擅自分一分。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
