TCP/IP深入学习 作为互联网时代伟大发明的TCP/IP技术可以说对当今时代产生了深刻的影响。经过近一个月的学习摸索,基本清楚了TCP/IP的面貌。由于TCP/IP在OS中位于内核态,很多细节其实用
根据报警信息可知,只要获取主机信息的耗时超过了阈值HOST_NAME_RESOLVE_THRESHOLD=200ms,就会提示这个信息。很明显,我们的耗时已经超过5s。同时,如果为 Mac 系统,还会贴心地提示在/etc/hosts文件中配置本地dns。
昨天一番为electron写了个开篇,本来今天应该继续的,但一番回来收拾完了快10点了,吃了夜宵看了电影都12点了。好吧,工作太累,放松一下。现在开始写文章了。没时间研究electron了,所以继续写写python吧,这样的方式写python,写一年也写不完啊(捂脸)。
不同于传统的“一个进程处理一个客户端请求”的方式,IO复用可以让一个进程处理多个客户端的请求,更加节省资源。
本文主要是《Linux内核设计与实现》这本书的读书笔记,这本书我读了不下十遍,但依然感觉囫囵吞枣。我结合自己的理解,从这本书中整理出了一些运维应该了解的内核知识,希望对大家能够有所帮助。另外,推荐大家读下这边书,这本书主要讲内核设计、实现原理和方法,有利于理解内核的一些机理。
编辑手记:本文主要讲解Linux IO调度层的三种模式:cfp、deadline和noop,并给出各自的优化和适用场景建议。 作者简介: 邹立巍 Linux系统技术专家。目前在腾讯SNG社交网络运营部
串口通信是指外设和计算机间,通过数据信号线 、地线、控制线等,按位进行传输数据的一种通讯方式。这种通信方式使用的数据线少,在远距离通信中可以节约通信成本,但其传输速度比并行传输低。串口是计算机上一种非常通用的设备通信协议,pyserial模块封装了python对串口的访问,为多平台的使用提供了统一的接口。
TCP作为一种可靠传输控制协议,其核心思想既要保证数据可靠传输,又要提高传输的效率,而用三次恰恰可以满足以上两方面的需求!
本文环境是在腾讯云服务器CentOS7.2搭建的,JDK1.8,kibana-5.4.2。
select()允许一个程序监听多个文件描述符,等待一个或者多个文件描述符的I/O操作变成“就绪”状态(比如:可读)。
今天早晨遇到一个Redis的线上的问题,也算是一个Redis的经典问题了,这里记录下分析和排查过程,希望对大家有所帮助。
还不会使用Github自动构建Actions?这么好用的功能实在是忍不住写一篇文章推广一下。如果你没使用过,那么就来看看吧。 Github被微软收购之前就有自动构建工具,比如Travis CI,自动构建可以让代码自动构建起来,甚至自动打包、自动发布,我也是在编写我的笔记程序时想让Github自动发布新版本才开始使用这个功能。 我的项目是private类型的,AppVeyor免费版本只支持public的项目,后来发现Github的Actions可以支持private并且功能异常强大,几乎所有的程序(Wind
此时,用户应用程序也同样需要占用这些资源,如果不加以限制,那么会和操作系统争抢资源,导致冲突。
PostgreSQL 归档是POSTGRESQL 运维中必须进行的一项工作,但对于归档的事情其实在我们运维的一段时间有很多的疑问,这里总结一些我们遇到的问题以及我们对归档的事情的一些理解。
1.计算延迟时间: 使用–latency参数 以下参数表示平均超时时间0.03ms。 redis-cli --latency -h 127.0.0.1 -p 6800 min: 0, max: 4, avg: 0.03 (12235 samples) 注意:由于使用的是本机的回环地址,所以这样其实忽略了带宽上的延迟 使用redis内部的延迟检测子系统测试:见上一篇文章中“启用延迟监控系统“部分。 2.延迟标准: 使用–intrinsic-latency参数 需要运行在redis serv
该接口的功能主要为查询HBase数据再返回给前端,初步怀疑为HBase集群问题,在查询HBase前后打印日志,发现接口超时的时候,查询耗时一直处于10s以上。但是该接口服务分布式部署了多台机器,其中只是某一台接口机超时,其实机器响应正常,且查看HBase集群负载和网络情况均无异常。于是怀疑为该接口服务发生了full gc。
使用linux已经有10来年了但是一直止于各种服务器的搭建和环境的调优,能力不能得到提升,今天突然下定决心学习Shell脚本编程,因此以网上广为流传的《Shell脚本100例》为基础学习、实验和笔记。
该文章讲述了在Linux系统中,通过调用timeout函数进行网络连接时,如何实现超时控制。具体来说,介绍了timeout函数的定义、使用方法和注意事项,以及如何在代码中调用timeout函数实现网络连接超时控制。此外,还介绍了如何利用setsockopt函数设置SO_RCVTIMEO选项来实现超时控制。
在windows下,各种外设都被看成文件,这个跟Linux下看成设备节点类似,所以串口当然是被看成是一个文件。既然被看成文件,所以打开和读写都跟文件类似。 打开串口跟打开文件一样,Win32下就是C
socket编程的demo中使用的都是最基本的,但是一般不会真正用在项目中的代码。而实际项目中,需要面临复杂多变的需求环境,比如有多个socket连接,或者服务需要监听的时候,可能有很多socket连接进来。面对这种情况,最直接最简单的想法是,一个socket连接创建一个线程去处理。当然,在socket连接数较少的情况下,这种方式无可厚非,但是如果连接数量较大,就会出现意外情况。
•MapReduce写入Hbase原理:封装了一个TableOutputFormat来实现写入Hbase的数据 •要求 –写入Hbase的数据的V的类型必须为Put类型
本文主要解析一下nginx http模块配置参数。主要分socket相关参数,对clinet请求的buffer参数以及对response的buffer参数。
惠伟:linux time和kvm time虚拟化综述zhuanlan.zhihu.com
linux centos8 安装php7 nginx1.4 mysql8 ,运行php网站,各个模块从零开始配置
ncat 或者说 nc 是一款功能类似 cat 的工具,但是是用于网络的。它是一款拥有多种功能的 CLI 工具,可以用来在网络上读、写以及重定向数据。 -- Pradeep Kumar 本文导航 ◈ 例子: 1) 监听入站连接 18% ◈ 例子: 2) 连接远程系统 23% ◈ 例子: 3) 连接 UDP 端口 34% ◈ 例子: 4) 将 nc 作为聊天工具 46% ◈ 例子: 5) 将 nc 作为代理 53% ◈ 例子: 6) 使用 nc 拷贝文件 61% ◈ 例子: 7) 通过 nc 创建后门 7
在这篇中遗留了几个问题,先尝试回答一下,不一定准确,代码太多,看不过来,全靠猜测,代码的历史很长,都是智慧的结晶,一时半会消化不了很正常。
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制,最早在 Linux 2.5.44内核中引入,可被用于代替POSIX select 和 poll 系统调用,并且在具有大量应用程序请求时能够获得较好的性能( 此时被监视的文件描述符数目非常大,与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同, epoll能在O(1)时间内完成操作,所以性能相当高),epoll 与 FreeBSD的kqueue类似,都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
http://blog.csdn.net/lingfengtengfei/article/details/12392449
实际项目中,需要在Linux下通过shell脚本并发读写同一个文件,但是希望同一时刻,只有一个进程可以在读、写目标文件。
二、特性 在支持的平台上有统一的接口。 通过python属性访问串口设置。 支持不同的字节大小、停止位、校验位和流控设置。 可以有或者没有接收超时。 类似文件的API,例如read和write,也支持readline等。 支持二进制传输,没有null消除,没有cr-lf转换。
接上文 从应用到内核查接口超时(中),查到是因为 journal 导致 write 系统调用被阻塞进而导致超时后,总感觉证据还不够充分,没有一个完美的交待。而且 leader 还想着让我把问题排查过程分享给同事们,这让我更加不安,担心搞错了方向。
系统优化 echo "vm.overcommit_memory=1" > /etc/sysctl.conf 0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。 1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。 2, 表示内核允许分配超过所有物理内存和交换空间总和的内存 echo never > /sys/kernel/mm/transparent_hugepage/enabled 禁用NUMA优化机制
怎样使用本地服务器搭建一个邮箱,这样就可以脱离qq或者其他企业邮箱的限制,即可以做到节省成本,又可以得到收发邮件的一个保密性。 这里我们先展示一下本地搭建邮箱服务器后的成功例子:
一直都有在看一些开源项目的代码,但是还没有试过提交pr。因为最近在研究websocket和keep-alive。而websocket涉及到长连接,过多无用的长连接对系统来说是负担,是否可以尽快发现对端是否已经掉线,从而释放这个连接来减少系统压力呢,就这个初衷,想通过wireshark和nodejs调试一下心跳机制,但是发现nodejs对这个的支持不是很好。tcp的心跳机制,支持三个配置,但是nodejs的setKeepAlive只支持一个配置(后面发现最新版代码里有一点支持的痕迹了,但是没有给用户提供接口),所以就产生了提交pr的想法。代码改动不大,但是整个流程走下来,也挺费时间的。 本文大致分享一下这个过程。我的诉求是想让nodejs把修改心跳机制和相关配置的接口暴露给用户。但是libuv层的接口本身就不支持这个能力。所以要解决这个问题,要修改c、c++、js的代码。因为nodejs的架构就是这样,libuv提供能力,c++套壳,js调用。所以你想加一个libuv不支持的功能时,你就得从libuv改起。
前言: 解读一下redis的源代码~ 因为hash算法,skiplist等相关文章很多,前人之述备矣,这里不做解读。这里会解读一些相对较“冷门”的代码。 分析: 代码选自官网(https://redis.io/)最新版(3.2.6)。 1,network redis自己实现了网络库,具体代码参考anet.c,ae.c,ae_epoll.c,ae_evport.c,ae.h,ae_kqueue.c,ae_select.c。 在ae.c中,实现了event loop的整体逻辑,平台差异的地方分别在ae_*
通过 popen() 函数打开进程文件指针,从而能异步执行脚本文件。(只在linux下有效)
# 注意单位: 当需要配置内存大小时, 可能需要指定像1k,5GB,4M等常见格式 # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes # 1mb => 1024*1024 bytes # 1g => 1000000000 bytes # 1gb => 1024*1024*1024 bytes # # 单位是对大小写不敏感的 1GB 1Gb 1gB 是相同的。
一、结论 提出这个问题说明对网络编程的一些基础原理未搞明白,先说下结论: 一个 socket 是否设置为阻塞模式,只会影响到 connect/accept/send/recv 等四个 socket API 函数,不会影响到 select/poll/epoll_wait 函数,后三个函数的超时或者阻塞时间是由其函数自身参数控制的。 二、原理分析 下面详细的解释,为了方便解释,在这之前我们先明确几个基础概念: connfd:创建 socket,主动发起连接的一端(客户端),该端调用 connect 函数主动发起
skip-inodb 不加载INODB数据引擎驱动,如果项目不使用INNODB引擎,可以关闭,以节省系统内存 innodb-file-per-table 设置以后,为每个新数据表分别创建一个表空间tablespace文件,默认情况下都放在一个文件里,这样有弊端,以后我在自己博文中将单独对这个地方进行说明。 innodb_buffer_pool_size innodb的缓冲区大小,用来存放数据和索引,Innodb在线的文档表示要设置为机器内存的50%-80%来做这个缓冲区! 这个可以说是Innodb引擎下配置选项中最关键的参数选项了,对性能的影响也是最大的。 innodb_log_buffer_size InnoDB事务日志文件缓冲区大小,默认8M innodb_flush_method Innodb日志文件同步刷新的方法,取值有两个 fdatasync ,O_DSYNC,只是Uinx和linux系统下两个不同的调用函数区别。 innodb_additional_mem_pool_size innodb用于内部管理的各种数据结果分配的缓冲区大小,默认1M innodb_data_home_dir InnoDB数据文件的主目录 innodb_data_file_path Innodb 数据文件配置方式 innodb_log_files_in_group Innodb使用多少个日志文件,默认2 innodb_log_file_size Innodb日志文件最大限制尺寸,默认5M innodb_lock_wait_timeout 等待数据锁的超时时间,可以避免死锁,超过这个时间没有获取结果,就ROOLBACK回滚放弃。 innodb_flush_log_at_trx_commit Innodb日志提交的方式,0,1,2可供取值,0表示每间隔一秒就写一次日志并进行同步,减少了硬盘写操作次数,可以提高性能,1表示每执行完COMMIT就写一次日志并进行同步,默认值,2表示每执行完一次COMMIT写一次日志,每间隔一秒进行一次同步,这个参数在Innodb里同样是关键参数,对性能影响较大。 innodb_force_recovery 在Innodb的自动恢复失败后,从Crash中强制启动
笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码,是一件Exciting的事情。 今天笔者就来从Linux源码的角度看下Client端的Socket在进行Connect的时候到底做了哪些事情。
该文介绍了muduo库的EventLoop、Buffer、EventLoopThread等基本概念,以及其网络编程模型。通过示例阐述了muduo中EventLoop的两种触发模式、线程安全和非阻塞性,以及其与muduo::Loop的关系。还讲解了Buffer的读写操作,以及其在muduo网络编程模型中的作用。
nginx是一种高性能的HTTP和反向代理服务器。当我们要向外界发布应用的时候,如果只有1台服务器,那么直接将DNS配置解析到这台部署的服务器即可实现诉求,但是随着访问量的增大,我们需要部署多台服务器来增加服务的性能,这时就可以使用nginx作为反向代理,将流量均衡的分摊到每台服务器上。
笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码,是一件Exciting的事情。 今天笔者就来从Linux源码的角度看下Client端的Socket在进行Connect的时候到底做了哪些事情。由于篇幅原因,关于Server端的Accept源码讲解留给下一篇博客。 (基于Linux 3.10内核)
回望整个过年期间真的是躺的平平的,每天学习的时间和平时比起来差的不是一星半点。今天就复工了,也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快,只需要往工位上一坐下,我就能进入复工状态了。
etcd 是一个 golang 编写的分布式、高可用的一致性键值存储系统,是目前容器编排领域火热的 Kubernetes(k8s) 内置的服务发现与节点一致性中间件,用于提供可靠的分布式键值(key-value)存储、配置共享和服务发现等功能。etcd 可以用于存储关键数据和实现分布式调度,在现代化的集群运行中能够起到关键性的作用。
由于工作慢慢从原来的少量用户的企业内部应用慢慢转化为了大量用户的企业内部应用或者直接转为了线上高并发应用,因而也渐渐的开始使用memcached、Redis等缓存服务器,为了便于自身的学习和记忆,特此成文。本文以window下的redis使用为例,实际中redis服务器会搭建在Linux服务器上。 Redis核心特性简洁 借鉴知乎大牛的评价,Redis的快是因为:单进程单线程的避免了不必要的上下文切换和竞争条件;其绝大多数操作都是内存操作,虽然也支持虚拟内存;非阻塞IO。、 需要理解的几个知识
1、 在安装nginx之前,要安装其他的一些相关软件,包括gcc、openssl、pcre和zlib,这里分别来解释一下这些都是什么东西:
这次分享是腾讯后端面经,面试接近 1 小时,问了非常多的问题,涵盖Linux、数据库、C++、操作系统、计算机网络。
etcd 是 CoreOS 团队发起的开源项目,是一个管理配置信息和服务发现(service discovery)的项目,它的目标是构建一个高可用的分布式键值(key-value)数据库,基于 Go 语言实现。
领取专属 10元无门槛券
手把手带您无忧上云