在搭建Hadoop集群时，要求网络使用以太网，最低要求使用千兆网络，推荐使用万兆网络，标准配置是数据网络配备双万兆网卡，管理网络配备双千兆网卡。使用双万兆网卡的好处有以下几点：
pcie接口是一种高速串行计算机扩展总线标准，是高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，是替代旧的PCI，PCI-X和AGP总线标准的，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。 PCIE接口的优势： 相对于传统PCI总线在单一时间周期内只能实现单向传输，PCIE的双单工连接能提供更高的传输速率和质量。PCI-E插槽是可以向下兼容的，比如PCI-E 16X插槽可以插8X、4X、1X的卡。现在的服务器一般都会提供多个8X、4X的接口，已取代以前的PCI-X接口。PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。 PCIE有多种规格，从PCIE x1到PCIE x32，目前能够满足所有的低速设备和高速设备的需求，接口是PCIe 3.0接口，其传输速率是上一代接口带宽的两倍，PCIE接口的主要优势在于其减少延迟的能力。PCIe设备和PCIe总线直接相连，使缓存和数据更接近CPU。 北京东大金智提供自主研发生产销售的飞迈瑞克（femrice）品牌光纤网卡，包含pcie万兆网卡、pcie千兆网卡、pcie 25G网卡、pcie台式机网卡、pcie电口网卡、pcie光口网卡等等。其产品均已通过FCC、CE、RoHS、REACH等国际权威认证以及国家行业认证，精益求精，始终如一地专注于网络、通讯传输领域的应用解决方案。
4、Pivotal Supported Greenplum 必须部署Mirroring Segment
摘要：联瑞即将发布2.5G以太网单电口网卡，既适用于已有的千兆网络布线，又可立即提升2.5倍网络带宽。
谈网络适配器，就是网卡，在大型网站架构设计中，网络规划十分重要。 本文节选自《Netkiller Architect 手札》 21.5. 网卡 21.5.1. 网口规划 21.5.1.1. 内外隔离 双网卡方案,一般服务器会提供至少2块网卡。 使用两个交换机，一个交换机连接接防火墙，另一个交换机独立不接入Internet +------------+ +--------------+ /---> [eth0 Server A eth1] <---\ +--------------+
Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境，JDK最低版本要求是8。我们这里使用的是Linux Centos7.9版本，jdk为1.8。
• Inactive = Inactive(anon) + Inactive(file)
自著名华人物理学家高锟先生提出“光传输理论”，实用化的光纤传输产品始于1976年，经历了PDH→SDH→DWDM→ASON→MSTP的发展历程。本世纪初期，ASON/OADM 技术已在通信技术当中广泛应用，逐渐发展成为以骨干网络传输为介质的ROADM技术。
背景： 相比于传统的私有云IaaS产品（例如vmware、华为），nutanix引领了一个新的技术方向---超融合。 nutanix本身是存储起家，分布式存储上有大量的积累，加上虚拟化技术的成熟，万兆
在互联网服务中，最大的变数就在用户流量上。相比普通的服务，高并发的系统需要同时服务的在线人数会更多，所以对这类系统做容量设计时，我们就需要根据用户请求量和同时在线人数，来推算系统硬件需要投入多少成本。
对于绝大部分 Linux 操作系统, 默认情况下确实不支持 C1000K! 因为操作系统包含最大打开文件数(Max Open Files)限制, 分为系统全局的, 和进程级的限制.
在用户态空间，调用发送数据接口 send/sento/wirte 等写数据包，在内核空间会根据不同的协议走不同的流程。以TCP为例，TCP是一种流协议，内核只是将数据包追加到套接字的发送队列中，真正发送数据的时刻，则是由TCP协议来控制的。TCP协议处理完成之后会交给IP协议继续处理，最后会调用网卡的发送函数，将数据包发送到网卡。
1、Greenplum公司成立于2003年，产品基于开源的PostgreSQL数据库开发，2006年推出了首款产品。
KVM的网络优化方案，总的来说，就是让虚拟机访问物理网卡的层数更少，直至对物理网卡的单独占领，和物理机一样的使用物理网卡，达到和物理机一样的网络性能。
企业目前上云，有多种选择，那么对于中小企业，从成本和规模考虑，如何搭建自己的私有云环境，笔者这里根据自己的一个实践环境，尝试搭建一套小型私有云环境，功能并不完善，但基本能满足中小企业的需求。
运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤，也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次，本文试图抛开这纷繁复杂的概念，讲述一个传统的企业级运维人员转型到云运维人员，尤其是软件定义存储的运维之间经历的沟沟坎坎。
linux 系统 版本 Centos 7.1 及以上 Ubuntu 16.04 及以上 2)软件需求
SmartOS是一个开源的Unix系列操作系统，从Solaris10分支出来，由Joyent公司开发。 SmartOS拥有非常强大而简便的虚拟化功能，非常适合用来做云计算。
本文主要介绍基于Vivado的FPGA案例的使用说明，适用开发环境：Windows 7/10 64bit、Xilinx Vivado 2017.4。其中案例包括led_flash案例、key_test案例、ibert_eyescan案例、udp_10g_echo案例、fmc_ad9706_ad9613案例、bram_srio_target案例。
Nginx 的机器，一般都是独立的机器，因此不建议采用默认 irqbalance 的自动绑定，而是要设置 smp_affinity、smp_affinity_list 的值来自动绑定。
下面来分别对这几个问题进行分析. 1. 操作系统能否支持百万连接? 对于绝大部分 Linux 操作系统, 默认情况下确实不支持 C1000K! 因为操作系统包含最大打开文件数(Max Open Fil
概述：虚拟化是一个广义术语，通常是指计算元件在虚拟的基础上而不是真实的基础上运行，是一个为了简化管理，优化资源的解决方案.服务器虚拟化则是一项用以整合基于x86服务器，来提高资源利用效率和性能的技术.本文从企业业务系统和管理角度出发，着重分析研究了X86技术架构下，虚拟网卡与SR-IOV、NUMA、虚拟磁盘格式相应的特点，并探索了不同应用场景下的资源划分和性能优化方案，希望能够通过多应用系统下的实践和最优配置，来提高X86服务器的性能和资源利用效率.
1、应用场景挑选 image.png image.png 2、CPU：一个OSD至少1个CPU核 内存：一个OSD1GB内存；恢复时1TB1GB内存 网卡：万兆网卡 硬盘：SSD做日志盘，10-20GB；建议4个OSD数据盘配一个SSD； 3、硬件方面调优： -一个OSD进程对应一个CPU -mon和mds需要2GB内存，osd需要至少1GB内存 -SSD选择：Intel SSD DC S3500 Series -BIOS上开启VT和HT；关闭节能 -关闭NUMA 4、操作系统方面调优：
在大规模Docker 容器运行时环境中，如果镜像实例数 较多，需要同时大规模，多地更新镜像，比如大型电商平台需要更新所有容器的镜像时，Docker镜像中心往往成为性能瓶颈，这个瓶颈往往来自于镜像中心的网络出口，比如镜像中心所在主机有万兆网卡，则网络流量会被限制在 1000MB（注意是大 Byte），通常这个网卡会被多个应用共享使用，所以流量有很多损耗，导致无法满足 Docker 镜像实时分发的需求。即使将 Docker 镜像中心进行异地分布式部署，也存在瞬时的并发拉取流量难以满足，从而导致 Docker 拉取镜像失败，Pod 无法启动。
导语 随着版本升级，关系型数据库和缓存数据库整体性能比之前都有大幅度的提升，衡量数据库性能的三个重要指标是：数据库吞吐量(QPS)、延迟时长(Latency)和稳定性，以下从这三个方面对几种数据库进行
CDB现在支持类型复制类型比较多，我这里选择以下几种复制类型压测对比： MySQL 5.6[异步|半同步|增强半同步]复制，5.7异步复制（当时5.7只支持异步复制).
测试环境，最小规模，最少4台服务器。一台做管理节点Cloudera Manager和NameNode等，另外三台用作worker，DATANODE节点，这种最小规模一般仅用于开发和测试。
可是，大家在追剧的时候，有没有想过一个问题——为什么有时候明明自己的网速很快，但观看视频时，仍然卡顿？
服务器：一直开机，不要宕机。（对硬件损耗巨大，极易损坏，要做好监控，防患于未然）
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
在分享了VMware的容灾和双活方案以后，受到到了广大朋友欢迎。本公众号将继续分享我在工作中和学习中的一些心得，也欢迎大家一起交流。 《VIOS HealthAdvisor 工具的使用与分析 》、《AIX 下磁盘I/O 性能分析》、《Power 服务器IVE 网卡etherchannel 配置步骤与性能评估》、《PowerVM 环境下实施PowerHA7.1 要点》、《IBM PowerHA6.1 DARE 的功能介绍》 、《GPFS 3.4 的配置变更与性能评估》、《AIX 6.1 中TCP 应答时间参数
昨晚读了一篇Paper：https://penberg.org/parakernel-hotos19.pdf
如果你有订阅一些科技新闻，应该会有看过内核在4.9当中加入了一个新的算法，来解决在有一定的丢包率的情况下的带宽稳定的问题，这个是谷歌为我们带来的干货，新的 TCP 拥塞控制算法 BBR (Bottleneck Bandwidth and RTT)，谷歌一向的做法是，先上生产，然后发论文，然后有可能开源，所以这个已经合并到了内核4.9分支当中，算法带来的改变在出的测试报告当中有很详细的数据展示，这个看多了可能反而不知道到底会有什么明显改变，特别是对于我们自己的场景
/proc/cpuinfo是可以获取系统CPU信息比如物理CPU的个数 每个CPU的物理核心数量 CPU的型号和主频等信息。
Supported link modes: 10baseT/Half 10baseT/Full
夹层卡（Mezzanine Card）是一种为嵌入式体系添加特定效能且有效的普遍应用方法。因夹层卡也是一种外围设备卡，是通过连接主载板上扩展系统的功能，而不是径直插在连接背板上，因此夹层卡可以自在变换，同时对设计人员来说，这也意味着既能行灵巧配备，又可以自在晋级。夹层卡采用薄型连接器平行于母板的安装方式，把所需的拓展功能安装到母板上，只占用一个空间狭小的插槽。
HTTP 协议因其易用性和普适性得到了大规模的普及，我们说HTTP协议是互联网的基石一点也不为过，当前提供HTTP服务的Server性能要求越来越高，如何提高 HTTP 服务器的性能变得非常重要。近年来网卡性能快速发展，给高性能HTTP服务提供了硬件支持，但是linux 内核却越来越成为高性能网络服务器的瓶颈。 HTTP 的传输层协议为 TCP ，TCP作为面向连接的协议能够提供可靠传输，但是在性能有非常大的短板，尤其在短连接网络业务服务中，受限于PCB表锁竞争等因素，系统内核大并发创建 T
服务器，也称伺服器，是提供计算服务的设备。现在可选择的服务器主要分为两种：物理服务器和云服务器。
近年来，数据中心以太网交换机发展十分强劲，公共云、私有云和混合云的客户在以太网交换机方面支出庞大。根据Crehan Research公司的统计，2016年品牌数据中心以太网交换机销售超过100亿美元，创下了自2013年以来最强劲的市场增长速度。其中40GbE和100GbE交换机是主要的市场动力，总收入超过十亿美元。
本文介绍了如何使用 F-Stack 实现高性能的 HTTP 服务器，通过实例测试验证了 F-Stack 的性能和优势。
Linux 网络协议栈是根据 TCP/IP 模型来实现的，TCP/IP 模型由应用层、传输层、网络层和网络接口层，共四层组成，每一层都有各自的职责。
在进行数据存储的时候，最担心的莫过于数据丢失了，而数据丢失可以从很多层面来进行保障，但是最终数据都是存储在磁盘当中。
Greenplum（以下简称GPDB）是一款开源数据仓库。基于开源的PostgreSQL改造，主要用来处理大规模数据分析任务，相比Hadoop，Greenplum更适合做大数据的存储、计算和分析引擎。
在日常工作中，经常会遇到一些大促场景，需要评估系统的资源是否充足，是否需要增加资源，增加多少。
大数据文摘作品 短视频的风靡让很多人欲罢不能，2017年初，短视频的用户就达到4亿人，在市场规模上也达到数百亿人民币。在功能丰富的短视频背后，必然少不了IT的技术支撑，其中都有哪些技术难点？大热的人工智能又在其中发挥着怎样的功能？ 短视频软件如雨后春笋一般层出不穷， 2017年初，短视频的用户就达到4亿人，在市场规模上也达到数百亿人民币。巨大的市场份额及发展空间，使得短视频也成了很多互联网企业的高度关注领域，其背后的技术支持也变成差异化竞争的发力点。 本月，在首期《云中论道》节目中，英特尔中国区互联网业务部
PS：对于架构来说rocketMq的性能至关重要，只要用到消息队列的都是比较核心的应用，所以很多东西需要处理。
数据仓库Palo Doris版是基于Apache Doris（百度自研的分析型数据库引擎）构建的企业级MPP云数据仓库，Palo Doris版全面兼容MySQL协议，提供快捷查询UI，易于使用；支持高并发低延时查询，支持PB级以上的超大数据集，可有效地支持在线实时数据分析。
文章介绍了dperf是一款基于intel DPDK开发的一款高性能的开源网络压力测试仪，目前已经被收录至DPDK官方生态项目。
该文章是一篇关于MySQL数据库引擎优化实践的技术文章。通过对比MySQL和MariaDB两种数据库引擎的优化实践，总结了在数据库优化方面的经验，包括MySQL数据库引擎选择、MariaDB数据库引擎选择、MySQL数据库引擎优化实践、MariaDB数据库引擎优化实践和MySQL与MariaDB性能比较。
领取专属 10元无门槛券
手把手带您无忧上云
