pcie接口是一种高速串行计算机扩展总线标准，是高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，是替代旧的PCI，PCI-X和AGP总线标准的，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。 PCIE接口的优势： 相对于传统PCI总线在单一时间周期内只能实现单向传输，PCIE的双单工连接能提供更高的传输速率和质量。PCI-E插槽是可以向下兼容的，比如PCI-E 16X插槽可以插8X、4X、1X的卡。现在的服务器一般都会提供多个8X、4X的接口，已取代以前的PCI-X接口。PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。 PCIE有多种规格，从PCIE x1到PCIE x32，目前能够满足所有的低速设备和高速设备的需求，接口是PCIe 3.0接口，其传输速率是上一代接口带宽的两倍，PCIE接口的主要优势在于其减少延迟的能力。PCIe设备和PCIe总线直接相连，使缓存和数据更接近CPU。 北京东大金智提供自主研发生产销售的飞迈瑞克（femrice）品牌光纤网卡，包含pcie万兆网卡、pcie千兆网卡、pcie 25G网卡、pcie台式机网卡、pcie电口网卡、pcie光口网卡等等。其产品均已通过FCC、CE、RoHS、REACH等国际权威认证以及国家行业认证，精益求精，始终如一地专注于网络、通讯传输领域的应用解决方案。
在搭建Hadoop集群时，要求网络使用以太网，最低要求使用千兆网络，推荐使用万兆网络，标准配置是数据网络配备双万兆网卡，管理网络配备双千兆网卡。使用双万兆网卡的好处有以下几点：
谈网络适配器，就是网卡，在大型网站架构设计中，网络规划十分重要。 本文节选自《Netkiller Architect 手札》 21.5. 网卡 21.5.1. 网口规划 21.5.1.1. 内外隔离 双网卡方案,一般服务器会提供至少2块网卡。 使用两个交换机，一个交换机连接接防火墙，另一个交换机独立不接入Internet +------------+ +--------------+ /---> [eth0 Server A eth1] <---\ +--------------+
在互联网服务中，最大的变数就在用户流量上。相比普通的服务，高并发的系统需要同时服务的在线人数会更多，所以对这类系统做容量设计时，我们就需要根据用户请求量和同时在线人数，来推算系统硬件需要投入多少成本。
摘要：联瑞即将发布2.5G以太网单电口网卡，既适用于已有的千兆网络布线，又可立即提升2.5倍网络带宽。
运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤，也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次，本文试图抛开这纷繁复杂的概念，讲述一个传统的企业级运维人员转型到云运维人员，尤其是软件定义存储的运维之间经历的沟沟坎坎。
在用户态空间，调用发送数据接口 send/sento/wirte 等写数据包，在内核空间会根据不同的协议走不同的流程。以TCP为例，TCP是一种流协议，内核只是将数据包追加到套接字的发送队列中，真正发送数据的时刻，则是由TCP协议来控制的。TCP协议处理完成之后会交给IP协议继续处理，最后会调用网卡的发送函数，将数据包发送到网卡。
概述：虚拟化是一个广义术语，通常是指计算元件在虚拟的基础上而不是真实的基础上运行，是一个为了简化管理，优化资源的解决方案.服务器虚拟化则是一项用以整合基于x86服务器，来提高资源利用效率和性能的技术.本文从企业业务系统和管理角度出发，着重分析研究了X86技术架构下，虚拟网卡与SR-IOV、NUMA、虚拟磁盘格式相应的特点，并探索了不同应用场景下的资源划分和性能优化方案，希望能够通过多应用系统下的实践和最优配置，来提高X86服务器的性能和资源利用效率.
背景： 相比于传统的私有云IaaS产品（例如vmware、华为），nutanix引领了一个新的技术方向---超融合。 nutanix本身是存储起家，分布式存储上有大量的积累，加上虚拟化技术的成熟，万兆
• Inactive = Inactive(anon) + Inactive(file)
对于绝大部分 Linux 操作系统, 默认情况下确实不支持 C1000K! 因为操作系统包含最大打开文件数(Max Open Files)限制, 分为系统全局的, 和进程级的限制.
自著名华人物理学家高锟先生提出“光传输理论”，实用化的光纤传输产品始于1976年，经历了PDH→SDH→DWDM→ASON→MSTP的发展历程。本世纪初期，ASON/OADM 技术已在通信技术当中广泛应用，逐渐发展成为以骨干网络传输为介质的ROADM技术。
企业目前上云，有多种选择，那么对于中小企业，从成本和规模考虑，如何搭建自己的私有云环境，笔者这里根据自己的一个实践环境，尝试搭建一套小型私有云环境，功能并不完善，但基本能满足中小企业的需求。
导语 随着版本升级，关系型数据库和缓存数据库整体性能比之前都有大幅度的提升，衡量数据库性能的三个重要指标是：数据库吞吐量(QPS)、延迟时长(Latency)和稳定性，以下从这三个方面对几种数据库进行
Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境，JDK最低版本要求是8。我们这里使用的是Linux Centos7.9版本，jdk为1.8。
可是，大家在追剧的时候，有没有想过一个问题——为什么有时候明明自己的网速很快，但观看视频时，仍然卡顿？
4、Pivotal Supported Greenplum 必须部署Mirroring Segment
近年来，数据中心以太网交换机发展十分强劲，公共云、私有云和混合云的客户在以太网交换机方面支出庞大。根据Crehan Research公司的统计，2016年品牌数据中心以太网交换机销售超过100亿美元，创下了自2013年以来最强劲的市场增长速度。其中40GbE和100GbE交换机是主要的市场动力，总收入超过十亿美元。
在大规模Docker 容器运行时环境中，如果镜像实例数 较多，需要同时大规模，多地更新镜像，比如大型电商平台需要更新所有容器的镜像时，Docker镜像中心往往成为性能瓶颈，这个瓶颈往往来自于镜像中心的网络出口，比如镜像中心所在主机有万兆网卡，则网络流量会被限制在 1000MB（注意是大 Byte），通常这个网卡会被多个应用共享使用，所以流量有很多损耗，导致无法满足 Docker 镜像实时分发的需求。即使将 Docker 镜像中心进行异地分布式部署，也存在瞬时的并发拉取流量难以满足，从而导致 Docker 拉取镜像失败，Pod 无法启动。
下面来分别对这几个问题进行分析. 1. 操作系统能否支持百万连接? 对于绝大部分 Linux 操作系统, 默认情况下确实不支持 C1000K! 因为操作系统包含最大打开文件数(Max Open Fil
SmartOS是一个开源的Unix系列操作系统，从Solaris10分支出来，由Joyent公司开发。 SmartOS拥有非常强大而简便的虚拟化功能，非常适合用来做云计算。
夹层卡（Mezzanine Card）是一种为嵌入式体系添加特定效能且有效的普遍应用方法。因夹层卡也是一种外围设备卡，是通过连接主载板上扩展系统的功能，而不是径直插在连接背板上，因此夹层卡可以自在变换，同时对设计人员来说，这也意味着既能行灵巧配备，又可以自在晋级。夹层卡采用薄型连接器平行于母板的安装方式，把所需的拓展功能安装到母板上，只占用一个空间狭小的插槽。
HTTP 协议因其易用性和普适性得到了大规模的普及，我们说HTTP协议是互联网的基石一点也不为过，当前提供HTTP服务的Server性能要求越来越高，如何提高 HTTP 服务器的性能变得非常重要。近年来网卡性能快速发展，给高性能HTTP服务提供了硬件支持，但是linux 内核却越来越成为高性能网络服务器的瓶颈。 HTTP 的传输层协议为 TCP ，TCP作为面向连接的协议能够提供可靠传输，但是在性能有非常大的短板，尤其在短连接网络业务服务中，受限于PCB表锁竞争等因素，系统内核大并发创建 T
CDB现在支持类型复制类型比较多，我这里选择以下几种复制类型压测对比： MySQL 5.6[异步|半同步|增强半同步]复制，5.7异步复制（当时5.7只支持异步复制).
KVM的网络优化方案，总的来说，就是让虚拟机访问物理网卡的层数更少，直至对物理网卡的单独占领，和物理机一样的使用物理网卡，达到和物理机一样的网络性能。
本文介绍了如何使用 F-Stack 实现高性能的 HTTP 服务器，通过实例测试验证了 F-Stack 的性能和优势。
本文主要介绍基于Vivado的FPGA案例的使用说明，适用开发环境：Windows 7/10 64bit、Xilinx Vivado 2017.4。其中案例包括led_flash案例、key_test案例、ibert_eyescan案例、udp_10g_echo案例、fmc_ad9706_ad9613案例、bram_srio_target案例。
在进行数据存储的时候，最担心的莫过于数据丢失了，而数据丢失可以从很多层面来进行保障，但是最终数据都是存储在磁盘当中。
1、应用场景挑选 image.png image.png 2、CPU：一个OSD至少1个CPU核 内存：一个OSD1GB内存；恢复时1TB1GB内存 网卡：万兆网卡 硬盘：SSD做日志盘，10-20GB；建议4个OSD数据盘配一个SSD； 3、硬件方面调优： -一个OSD进程对应一个CPU -mon和mds需要2GB内存，osd需要至少1GB内存 -SSD选择：Intel SSD DC S3500 Series -BIOS上开启VT和HT；关闭节能 -关闭NUMA 4、操作系统方面调优：
之前讨论零拷贝的时候，我们知道，两台机器之间传输文件，最快的方式就是 send file，众所周知，在 Java 中，该技术对应的则是 FileChannel 类的 transferTo 和 transferFrom 方法。
Nginx 的机器，一般都是独立的机器，因此不建议采用默认 irqbalance 的自动绑定，而是要设置 smp_affinity、smp_affinity_list 的值来自动绑定。
如果你有订阅一些科技新闻，应该会有看过内核在4.9当中加入了一个新的算法，来解决在有一定的丢包率的情况下的带宽稳定的问题，这个是谷歌为我们带来的干货，新的 TCP 拥塞控制算法 BBR (Bottleneck Bandwidth and RTT)，谷歌一向的做法是，先上生产，然后发论文，然后有可能开源，所以这个已经合并到了内核4.9分支当中，算法带来的改变在出的测试报告当中有很详细的数据展示，这个看多了可能反而不知道到底会有什么明显改变，特别是对于我们自己的场景
1、Greenplum公司成立于2003年，产品基于开源的PostgreSQL数据库开发，2006年推出了首款产品。
/proc/cpuinfo是可以获取系统CPU信息比如物理CPU的个数 每个CPU的物理核心数量 CPU的型号和主频等信息。
linux 系统 版本 Centos 7.1 及以上 Ubuntu 16.04 及以上 2)软件需求
Greenplum（以下简称GPDB）是一款开源数据仓库。基于开源的PostgreSQL改造，主要用来处理大规模数据分析任务，相比Hadoop，Greenplum更适合做大数据的存储、计算和分析引擎。
服务器，也称伺服器，是提供计算服务的设备。现在可选择的服务器主要分为两种：物理服务器和云服务器。
大数据文摘作品 短视频的风靡让很多人欲罢不能，2017年初，短视频的用户就达到4亿人，在市场规模上也达到数百亿人民币。在功能丰富的短视频背后，必然少不了IT的技术支撑，其中都有哪些技术难点？大热的人工智能又在其中发挥着怎样的功能？ 短视频软件如雨后春笋一般层出不穷， 2017年初，短视频的用户就达到4亿人，在市场规模上也达到数百亿人民币。巨大的市场份额及发展空间，使得短视频也成了很多互联网企业的高度关注领域，其背后的技术支持也变成差异化竞争的发力点。 本月，在首期《云中论道》节目中，英特尔中国区互联网业务部
服务器：一直开机，不要宕机。（对硬件损耗巨大，极易损坏，要做好监控，防患于未然）
在日常工作中，经常会遇到一些大促场景，需要评估系统的资源是否充足，是否需要增加资源，增加多少。
昨晚读了一篇Paper：https://penberg.org/parakernel-hotos19.pdf
Supported link modes: 10baseT/Half 10baseT/Full
值得注意的是，2019年的CCF已经是举办的第十五届峰会了，对于发展相对较晚的国内IT技术全来说，十五年可以说是一个非常老的峰会了。而在这十五年，CCF也见证了中国高性能计算行业的发展。
测试环境，最小规模，最少4台服务器。一台做管理节点Cloudera Manager和NameNode等，另外三台用作worker，DATANODE节点，这种最小规模一般仅用于开发和测试。
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
笔者要在线上服务器load日志并且重放来测一些机器性能指标。模拟机器资源比较少，相对的被模拟的线上机器日志量大，假设线上单机qps有1w，那么5台机器组成的集群5w个qps。模拟机器压测客户端需要比5w个qps更快，才有比较意义。
Linux 网络协议栈是根据 TCP/IP 模型来实现的，TCP/IP 模型由应用层、传输层、网络层和网络接口层，共四层组成，每一层都有各自的职责。
在大数据领域我们都知道，开发是最简单，任务的合理调优、问题排查才是最重要的。我们在之前的文章《Flink面试通关手册》中也讲解过，作者结合线上出现的一些问题，总结了一些任务调优需要注意的点。
摘要：对于瞬息万变的证券交易市场，即时的行情信息是行情系统的基础。快速获取行情信息可以给市场参与者提供更宽裕的交易决策时间窗口，交易者获取的行情信息延时越低，往往意味着越多的交易机会和越大的决策空间。传统的基于软件的行情信息系统，信息的解析一般经过网络层数据获取、协议层数据解析、应用层数据处理等过程，在操作系统和协议层面，存在毫秒级别的上下文切换和软件处理延时，由于操作系统的进程调度和CPU主频的动态调整机制，这种延时还具备一定的不确定性。为实现纳秒级超低延时行情解析处理，本文针对上海证券交易所的行情发布系统，采用Verilog硬件描述语言，在FPGA加速卡上开发了对行情信息流的以太网，IP和UDP以及FAST协议的硬件解码，设计了支持指令集编程的微指令加速引擎。与传统的基于软件的方法相比，本文提出的专用硬件处理方案延时可降低10倍以上。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
