为了提高爬虫程序的效率，我们通常使用代理IP来同时访问多个网站，避免被封禁。但是，使用代理IP也会带来一些问题。在Linux系统下，我们经常会遇到TIME_WAIT和CLOSE_WAIT状态的问题。
在实际生产环境中，将计算和存储进行分离，是我们提高集群吞吐量、确保集群规模水平可扩展的主要方法之一，并且通过集群的扩容、性能的优化，确保在数据大幅增长时，存储不能称为系统的瓶颈。
「因为Linux系统为了效率不会实时将文件内容写入到磁盘中，而是临时写入到系统buffer(内存)。」 每隔一段时间(一般为30s)才会真正写入到磁盘中。在此间隔中断电重启会导致文件并没有真正写入到磁盘中。
============= 1.触摸屏原始数据解析 ===================
在我们使用 Linux 系统时，如果网络或者磁盘等 I/O 出问题，会发现进程卡住了，即使用 kill -9 也无法杀掉进程，很多常用的调试工具，比如 strace, pstack 等也都失灵了，是怎么回事？
在我们日常使用Python中，Mechanize库已经过时，推荐使用更现代的库，比如Requests和BeautifulSoup来抓取网页数据。具体怎么抓取，以下是一个示例代码，演示如何使用Requests和BeautifulSoup库来抓取网页上的表格数据：
在当今技术发展的时代，开发可在多个平台上运行的应用程序已成为迫切的需求。C++作为一种高级编程语言，提供了跨平台开发的能力，使开发人员能够轻松地将应用程序移植到不同的操作系统上。本文将介绍一些在C++中实现可移植的跨平台应用程序的技巧。
在当今数字化时代，互联网已经成为了人们生活中不可或缺的一部分。而在互联网的基础之上，TCP协议扮演着关键的角色，它负责着数据在网络中的可靠传输。在TCP连接的建立过程中，我们已经了解了三次握手的过程和原理。然而，连接的建立只是TCP协议的一部分，同样重要的是连接的断开过程。本文将重点探讨TCP连接的断开过程，包括四次挥手的过程和状态变迁，以及为什么挥手需要四次和为什么需要TIME_WAIT状态。通过深入理解TCP连接断开的过程，我们可以更好地理解网络通信的原理
Python的线程因为解释器锁的设计，所以不能充分利用CPU，只能通过进程来实现多核利用 性能考虑的话，底层还是不要用Py，进程切换效率太低，Py多做为脚本层的胶水语言
android.os下的FileObserver类是一个用于监听文件访问、创建、修改、删除、移动等操作的监听器，基于linux的inotify。 FileObserver 是个抽象类，必须继承它才能使用。每个FileObserver对象监听一个单独的文件或者文件夹，如果监视的是一个文件夹，那么文件夹下所有的文件和级联子目录的改变都会触发监听的事件。 所能监听的事件类型如下： ACCESS，即文件被访问 MODIFY，文件被 修改 ATTRIB，文件属性被修改，如 chmod、chown、touch 等 CLOSE_WRITE，可写文件被 close CLOSE_NOWRITE，不可写文件被 close OPEN，文件被 open MOVED_FROM，文件被移走,如 mv MOVED_TO，文件被移来，如 mv、cp CREATE，创建新文件 DELETE，文件被删除，如 rm DELETE_SELF，自删除，即一个可执行文件在执行时删除自己 MOVE_SELF，自移动，即一个可执行文件在执行时移动自己 CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE) ALL_EVENTS，包括上面的所有事件 这些都是FileObserver的静态共有属性。 下面举个例子说明一下其用法。 比如，我要监听sd卡的目录创建事件，新建一个类SDCardListener继承FileObserver：
并不久远之前，设置单个Web服务器以支持10,000个并发连接还是一项伟大的壮举。有许多因素使开发这样的Web服务器成为可能，例如nginx，它比以前的服务器可以处理更多的连接，效率更高。最大的因素之一是用于监视文件描述符的常量时间polling（O(1)）机制，被大多数操作系统所采用。
前面可以加nohup 后面加 &,（只加& 有时候不行，可以先用只加&的测试一下可以不）
函数执行后，返回的新文件描述符与原有的旧文件描述符共用同一个文件表项，但是文件描述符标志将被清除，进程调用exec时文件描述符将不会被关闭。
tar是“tape archive”(磁带存档)的简称，它出现在还没有软盘驱动器、硬盘和 光盘驱动器的计算机早期阶段，随着时间的推移， tar命令逐渐变为一个将很多文件进行存档的工具，目前许多用于Linux操作系统的程序就是打包为tar档案文件的形式。 在Linux里面，tar一般和其他没有文件管理的压缩算法文件结合使用，用tar打包整个文件目录结构成一个文件，再用gz，bzip等压缩算法压缩成一次。也是Linux常见的压缩归档的处理方法
该文总结了如何通过修改配置文件实现一个自定义的HTTPS后端服务器，包括配置HTTPS证书、指定监听端口、指定代理路径和实现基于HTTP的负载均衡。
做运维的朋友应该知道，公司IDC机房经常有上架、下架、报修和报废的服务器。如果服务器数量很多的时候很容易造成监控遗漏。 大的互联网公司把监控系统和CMDB（资产管理系统|配置管理数据库系统）集成在一起，当上架一台新机器的时候CMDB里面会记录相关的信息，Zabbix根据CMDB里面信息自动Link相关的模块，添加|删除监控。很多小的公司没有资产管理系统，但作为监控的负责人应该每天知道上架了哪些新的机器，确保能添加到Zabbix监控里面。 首先给大家说一下脚本思路： 1）通过Nmap工具扫描网段，扫描出已经使用的IP地址。 2）通过Nmap检测已经扫描IP的3389或者22端口是否开放，可以判断那些事windows机器，那些是Linux机器。 3）Linux下面通过ssh + hostname命令找出Linux主机名。 4）Windows下面通过nmblookup -A 命令找出Windows主机名。 5）用Python脚本读扫描结果文件，把主机名写到列表里面。 6）用Zabbix python API 调用已经监控的主机名，写到列表里面。 7）两个列表取交集，用for循环判断哪些主机名没有监控。 8）发邮件通知监控负责人。
在Linux下开发应用程序可以调用两种接口来实现，一种是直接调用系统调用接口，另一种是调用库函数来实现。
MySQL 及其替代品 MariaDB 是最流行的开源关系数据库管理系统。 MySQL 版本之间存在一些重要差异，因此在某些情况下，了解服务器上运行的版本可能很重要。
TCP 连接关闭时，会有 4 次通讯（四次挥手），来确认双方都停止收发数据了。如上图，主动关闭方，最后发送 ACK 时，会进入 TIME_WAIT 状态，要等 2MSL 时间后，这条连接才真正消失。
版权声明：本文为耕耘实录原创文章，各大自媒体平台同步更新。欢迎转载，转载请注明出处，谢谢。联系本人：ecsboy（微信），136625317（QQ） https://blog.csdn.net/solaraceboy/article/details/89190393
某套应用，部署在Linux下的中间件上，在某个时刻开始报警，从日志看是无法获取JDBC连接，
读写参数 Character Meaning ‘r’ open for reading (default) ‘w’ open for writing, truncating the file first ‘a’ open for writing, appending to the end of the file if it exists ‘b’ binary mode ‘t’ text mode (default) ‘+’ open a disk file for updating (reading and
本文为翻译英文BLOG《Coping with the TCP TIME-WAIT state on busy Linux servers》，但并非完整的翻译，译者CFC4N对原文理解后，进行了调整，增加了相关论点论据，跟原文稍有不同。翻译的目的，是为了加深自己知识点的记忆，以及分享给其他朋友，或许对他们也有帮助。文章比较长，没耐心请点关闭。
①中断源发出中断请求; ②判断当前处理机是否允许中断和该中断源是否被屏蔽; ③优先权排队; ④处理机执行完当前指令或当前指令无法执行完，则立即停止当前程序，保护断点地址和处理机当前状态，转入相应的中断服务程序; ⑤执行中断服务程序; ⑥恢复被保护的状态，执行“中断返回”指令回到被中断的程序或转入其他程序。 上述过程中前四项操作是由硬件完成的，后两项是由软件完成的。
在早期运维工作中，查看服务器连接数一般都会用netstat命令。其实，有一个命令比netstat更高效，那就是ss（Socket Statistics）命令！ ss命令可以用来获取socket统计信息，它可以显示和netstat类似的内容。 ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息，而且比netstat更快速更高效。原因如下： 1）当服务器的socket连接数量变得非常大时，无论是使用netstat命令还是直接cat /proc/net/tcp，执行速度都会很慢。可能你不会有切身的感受
在之前的一篇文章中，作者在配置了SO_REUSEPORT选项之后，使得应用的性能提高了数十倍。现在介绍socket选项中如下几个可以提升服务端性能的选项：
netstat命令用来打印Linux中网络系统的状态信息，可让你得知整个Linux系统的网络情况。
进程间通信简称为 IPC（Interprocess communication），是两个不同进程间进行任务协同的必要基础。进行通信时，首先需要确保不同进程之间构建联系，其次再根据不同的使用场景选择不同的通信解决方案，本文主要介绍的通信解决方案为 匿名管道
在 18 年 11 月底时，我写了一篇文章 《runc 1.0-rc6 发布之际》 。如果你还不了解 runc 是什么，以及如何使用它，请参考我那篇文章。本文中，不再对其概念和用法等进行说明。
为什么要性能调优？ 大部分的linux发行版是为了完全兼容市场中大部分计算机而设计的。这是一个相当混杂的硬件集合（硬盘，显卡，网卡，等等）。所以Red Hat， Suse，Mandriva和其他的一些发行版厂商选择了一些保守的设置来确保安装成功。 简单地说：你的发行版运行的很好，但是它可以运行地更好！ 比如，可能有一个具体一些特殊特性的高级硬盘，而这些特性在标准配置的情况下可能就没被启用。 磁盘子系统的调优 对于Linux的Ext3/4来说，几乎在所有情况下都有所帮助的一个参数是关闭文件系统访问时间，在/
一台服务器报警了，内存占用过高，奇怪的是集群里其它的服务器都没问题。不过从以往的经验来看：每一个匪夷所思的问题背后，都隐藏着一个啼笑皆非的答案。
文本文件存储的是普通“字符”文本，python 默认为 unicode 字符集（两个字节表示 一个字符，最多可以表示：65536 个），可以使用记事本程序打开。注意:像 word 软件编辑的文档不是文本文件。
这时求职者紧张的心终于平静了，因为面试官没有深入下去的意思，继续问下去可能也不懂，皆大欢喜！当然本次面试基本上也就 game over了。
在Linux网络管理和监控领域，conntrack命令是一个强大的工具，它提供了对netfilter连接跟踪系统的直接访问🔍。这篇文章将深入探讨conntrack的由来、底层原理、参数意义，以及其常见用法，并对返回结果的每个字段进行详细解释。
Linux阅码场内核月报栏目，是汇总当月Linux内核社区最重要的一线开发动态，方便读者们更容易跟踪Linux内核的最前沿发展动向。
我第一次写 TCP 文章是这篇：硬不硬你说了算！近 40 张图解被问千百遍的 TCP 三次握手和四次挥手面试题
最近和一些客户交流，发现他们在使用filebeat进行文件采集的时候，主要的场景并不是以行为单位进行采集，而是以文件为单位进行采集。比如，一些实验数据是以文件的形式生成的，即filebeat的监控目录中会在实验结束后，添加数个实验结果的文件，这些文件有以下特点:
@(node,watcher) watcher，在如今的前端领域已经数见不鲜了。目前流行的gulp流程工具提供了watcher的选项，是我们在开发过程中不需要手动进行触发构建流程，转而根据文件（目录）内容改变来触发。 深入到watcher实现层，其实是基于node的fs.watch API，但是fs.watch有很多“不确定性”，下文会一一解答。 ---- [TOC] fs.watch (fs.FSWatcher) fs.watch(filename[, options][, listener])
http://stackoverflow.com/questions/2964391/preventing-multiple-process-instances-on-linux
为何是三次而不是两次： 两次握手的时候，客户端收到了服务端的ack，这个时候客户端确认了服务端已经连接成功，但是服务端确不知道客户端是否连接成功，如果客户端没有回复ack ，那么服务端的连接会一直挂载，应该把这个风险放在客户端，让最后一次回复给客户端承担，即使没有连接成功，客户端浪费几个连接也无所谓
TCP断开连接，需要经历四次挥手，通信的双方都可主动断开连接，断开连接通信的双方占用的资源将会被释放。
原文链接：http://scotdoyle.com/python-epoll-howto.html
我们知道 UDP 协议乐观且心大，相信网络环境比较健康，数据是可以送达的，即使送达不了也没关系。而 TCP（Transmission Control Protocol，传输控制协议） 就不一样了，它是悲观且严谨，认为网络环境是恶劣的，丢包、乱序、重传和拥塞是常有的事，一言不合就可能送达不了了，因而要从算法层面来保证可靠性。
本文主要针对于Linux环境讲解，读者如果使用的是Windows，遇到问题可以一起交流。
在本文中，我们将探讨如何使用PHP搭建IP代理，使你可以在访问受限制的网站时保护你的隐私和安全。
不管面试 Java 、C/C++、Python 等开发岗位， TCP 的知识点可以说是的必问的了。
在今天的软件测试环境中，有一种新的工具名为 Playwright 正在逐渐引起注意。这是 Microsoft 出品的一款跨浏览器自动化测试库，它允许开发人员和测试人员编写能够自动操作 Web 浏览器的脚本。这种操作的方式包括加载和导航网页、填充和提交表单、点击链接和按钮等。
TCP 性能的提升不仅考察 TCP 的理论知识，还考察了对于操作系统提供的内核参数的理解与应用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
