Kafka 作为消息队列中的中坚力量，基本上是每次面试必问的知识点。而说到 Kafka，大家对它的印象就是快！异常地快！
本文包括：语法介绍、使用示例、通过file命令确定文件的压缩格式、通过MD5检验比较两个tar包是否一致、批量压缩和解压缩。
在做Web开发的时候，相信很多人都看过一个“批量少次”原则： Web服务器采用HTTP协议，它是一个非持久连接的协议，是无状态的（虽然可以采用多种方式来模拟Web会话状态，但本质上Web是无状态的），由于每一次连接都要耗费相当的资源，所以尽量减少连接的次数，每次连接发送尽量多的数据也是顺理成章，这样它能够提供极大的吞吐量，可以提高Web应用系统的处理效率，这便是著名的“批量少次”原则。 这个原则在很多情况下都适用，比如ADO.NET相比原来的ADO数据访问，由于采用了断开式连接，极大地
在做Web开发的时候，相信很多人都看过一个“批量少次”原则： Web服务器采用HTTP协议，它是一个非持久连接的协议，是无状态的（虽然可以采用多种方式来模拟Web会话状态，但本质上Web是无状态的），由于每一次连接都要耗费相当的资源，所以尽量减少连接的次数，每次连接发送尽量多的数据也是顺理成章，这样它能够提供极大的吞吐量，可以提高Web应用系统的处理效率，这便是著名的“批量少次”原则。 这个原则在很多情况下都适用，比如ADO.NET相比原来的ADO数据访问，由于采用了断开式连接，
最近遇到一个关于MySQL单表过大的问题，该表存放的主要是日志文件，且其中有一个字段存放的数据过大，导致占用空间过大以及查询效率的降低，这种设计其实是不合理的。目前该表占用1.2T容量，数据量超过3亿条，而这个RDS数据库的容量总共就2T，且由于种种原因无法扩容，迫不得已急需给出解决方案。
TinyPNG是一个免费的在线批量压缩图片服务,但Web端有单次20张和单个文件5M的限制.同时TinyPNG官方提供了API,API限制每月500张,完全满足个人使用.本文将介绍使用Python脚本来批量压缩图片.
最近使用了个自动化平台（详见 自动化运维平台Spug测试）进行每周的变更，效果很不错，平台将大量重复繁琐的操作通过脚本分发方式标准化自动化了，平台核心是下发到各个服务器的shell脚本，感觉有必要对shell脚本做个总结，所以有了写本专题的想法。本专题将结合运维实际介绍shell脚本的各项用法，预计10篇左右，将包括系统巡检、监控、ftp上传下载、数据库查询、日志清理、时钟同步、定时任务等，里面会涉及shell常用语法、注意事项、调试排错等。
上周记录和分享了Linux下实现自定义命令行工具小技巧、实现批量解压压缩包的操作实践。A服务器上完成该命令工具后，我在其他服务器也想要使用这个命令。因为其他服务器都在同一内网下，因此想要使用此命令，有两种方案：
我们聊了性能优化的六大原则。原则有了，但是在针对实际的性能问题的时候，用什么样的解决方案才可以提升性能呢？这就需要你了解具体的优化策略了。
我将这十大策略分成五个类别，每个类别对应两个相关策略，帮助你掌握。这五个类别是：时空相互转换、并行 / 异步操作、预先 / 延后处理、缓存 / 批量合并、算法设计和数据结构。我们现在一个个来讲。
新站发布，按照惯例，先上链接: https://devtool.tech/tiny-image。
CICD 系统 / 发布系统 / 作业平台 / 监控系统 / 云监控 / 故障自愈 / K8S 集群管理 / CMDB / 公有云资源管理 / 工单系统
昨天在网上冲浪，悄悄的卷你们的时候看到一个关于性能优化的不错的文章。作者写了上中下三篇，由浅入深的写了关于性能优化的方方面面，并不仅仅局限于代码层面。
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于大批量的数据处理，常用于联机事务型数据处理。
通过以上文章已经把kafka基本概念整理了一下，从生产者到Broker消费者。下面来简单总结一下，为什么kafka能做到这么高的吞吐。
Viper FTP 是一款强大的ftp上传工具，具有简洁的用户界面，强大的功能，用户使用更方便。而且它允许用户通过邮件应用程序共享项目，使特定文件的HTTP URL，并迅速比较文件和文件夹。
最近看到一个关于性能优化的不错的文章。作者写了上中下三篇，由浅入深的写了关于性能优化的方方面面，并不仅仅局限于代码层面。 我看了之后还是很有收获的，同时也惊叹于作者扎实的技术能力与思考能力。于是借花献佛，把作者的三篇整理合并之后分享给大家。希望你也能有所收获。
主要功能是可以在线批量压缩图片，并可以在WP后台选择一个附件目录对其中的图片进行压缩。
许多开发人员花费了大量时间优化网页性能，比如优化 js、css、减少 http 请求等等，但减小图片大小产生的优化比其他所有领域加起来影响更大。
关闭服务器端编译，sql语句在客户端编译好再发送给服务器端。如果为true，sql会采用占位符方式发送。
正文：在Linux系统中使用xShell如何搜索查找文件里面的内容是查找问题、系统维护当中最常见的需求。搜索、查找文件当中的内容，一般最常用的是grep命令，另外还有egrep, vi命令也能搜索文件里面内容 假如是非压缩包文件，可以用grep命令去搜索，例如： grep –i “被查找的字符串” 文件名 假如是.gz压缩包类型的话，可以用zgrep命令去搜索，例如： zgrep –i “被查找的字符串” 文件名
Beats 可以直接将数据发送到 Elasticsearch 或通过 Logstash，在Kibana 中可视化之前，可以进一步处理和增强数据。
提升WordPress网站的性能发生在几个层面，可以做一些事情来优化网站，有很多非常好的图像压缩和优化工具。选择正确的永远是关键。通过安装图像压缩插件轻松解决，插件会在您上传图像时自动优化图像。这些插件不会减慢您的WordPress托管速度。
服务器连接工具： IIS7服务器管理工具是一款windows全系下用于连接并操控基于windows和linux系统的VPS、VNC、FTP等远程服务器、云服务器的管理工具。 界面简单明了，操作易上手，功能强大，支持批量导入服务器，并批量打开，多窗口化管理，除此之外，加载本地硬盘、硬盘映射、加载服务器的声音，远程声卡读取等功能也一应俱全，完全实现了各类场景使用，对于FTP连接界面，其中FTP文件的定时上传，定时下载（也可以说定时上传下载、定时备份）功能，对于经常使用FTP的小伙伴来说，也是非常适用的。 工具支持自动更新，压缩包只有7.62M，方便简洁，一步到位。 下载地址 使用步骤可以看下面的截图，做了详细标注：
Kafka 是一个基于发布-订阅模式的消息系统，它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率，即每秒可以处理百万级别的消息。那么 Kafka 是如何实现这样高得性能呢？本文将从七个方面来分析 Kafka 的速度优势。
（1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；
数据库中表储存的模式对性能的影响 HEAP表 行存 不压缩 行存 AO表 (orientation=row) 可压缩 (appendonly=true) 列存 (compresstype=zlib,COMPRESSLEVEL=5) (orientation=column) 类型 创建说明 特点 堆表(heap) 默认或appendonly=false 表中数据不能压缩,堆表只能是行存表,适合数据经常更新,删除,的oltp类型的负载,通常表中的数据量不大,适合用作维度表 追加优化表 appendon
比如由单个 WEB 服务器来响应用户请求，改为通过 Nginx 等负载均衡工具将请求分发到多台服务器。
主要特性 多平台支持Windows,Mac OS X,Linux 多标签,批量服务器管理. 支持登录Ssh和Windows远程桌面. 漂亮的平滑字体显示,内置100多个配色方案. shell,sftp同屏显示,同步切换目录. 命令自动提示,智能匹配,输入更快捷,方便. sftp支持,通过各种优化技术,加载更快,切换,打开目录无需等待. 服务器网络,性能实时监控,无需安装服务器插件. 内置海外服务器加速,加速远程桌面和ssh连接,操作流畅无卡顿. 双边加速功能,大幅度提高访问服务器速度. 内存,Cpu性能监控
说到 Hybrid App（混合应用）大家都不陌生，因为这种开发模式大行其道发展的这些年取代了很多原生和 Web 应用，为什么大家对这种「Native + HTML5」的开发模式额外偏爱呢？
不管你是网站站长、自媒体、博客作者、摄影师、设计师，还是需要在网上分享传输图片/照片的人，都希望自己上传图片耗时更短、图片体积更小，别人浏览时又能更快下载显示出来吧。
分布式计算有很多研究问题：如何高效地为工作站分配计算任务；如何有效降低工作站间的通讯成本；如何确保单机和多机训练的收敛具有一致性等等。在 2016 年 TensorFlow 第一次支持分布式训练时，相比单 GPU 训练，其 100 块 GPU 只能提供 56 倍的加速。而随着各种分布式策略及技术的提出，这一加速倍数已经大大提升。
Mysql自动化快速安装部署 一、简介 软件开发实际生产测试过程中，时常用到Mysql数据库，人工的去部署和安装新的Mysql服务器，不仅配置复杂过程缓慢，并且不适用于大规模部署与安装。为了更具效率的完成MySQL数据库大规模的自动化的快速安装与部署，我们引出今天所要说到的主角——Ansible。 Ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。
「图压」是一款专为高效工作者设计的免费批量图片压缩利器！支持 Windows 和 macOS 两大操作系统。这款工具能在几乎不损害画质的情况下大幅度地压缩图片的体积，可以非常快速有效地批量减小文件大小。
recompressor 网址：zh.recompressor.com 可压缩 SVG、PNG 和 JPG。力推这款在线压缩神器，完全免费，太过好用。 不但能够将图片批量上传压缩，还能够在压缩之后提供多种压缩大小后的图片提供下载，对 PNG 图片的压缩效果尤其优秀。 Pix Fix 网址：zh.pixfix.com 可压缩 JPG 和 PNG。Pix Fix 和 recompressor 出自同一团队之手，除了配色，两个网站的布局设计几乎一样。 如果你要压缩 JPG 图片的话，建议使用 Pix Fix，它能
配置详解 input配置段 #每一个prospectors，起始于一个破折号”-“ filebeat.prospectors: #默认log，从日志文件读取每一行。stdin，从标准输入读取 - input_type: log #日志文件路径列表，可用通配符，不递归 paths: - /var/log/*.log #编码，默认无，plain(不验证或者改变任何输入), latin1, utf-8, utf-16be-bom, utf-16be, utf-16le, big5, gb18030, gb
專 欄 ❈本文作者：赖明星 博客地址： https://www.zhihu.com/people/mingxinglai❈ 在这篇文章里，我们将会介绍4个Python解释器自身提供的小工具。这些小工具在笔者的日常工作中经常用到，减少了各种时间的浪费，然而，却很容易被大家忽略。每当有新来的同事看到我这么使用时，都忍不住感叹，原来Python还隐藏了这么好用的功能。下面就来看一下Python自带的几个小工具 一、1秒钟启动一个下载服务器 在实际工作中，时不时会有这样的一个需求：将文件传给其他同事。将文件传给同事
prospector(input)段配置 filebeat.prospectors: 每一个prospectors，起始于一个破折号”-“ - input_type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取 paths: - /var/log/*.log #日志文件路径列表，可用通配符，不递归 encoding: plain #编码，默认无，plain(不验证或者改变任何输入), latin1, utf-8, utf-16be-bom, utf-16be, utf-1
新接的一位客户说要把旧phpcms网站迁移到新的服务器并更换新域名，这对ytkah是小菜一碟，但往往事与愿违，忽略了一些细节会很惨的。进入新站后台怎么都无法生成内容，提示Table 'led_com.lz_' doesn't exist，找了半天都没搞定，重新导入数据库了也无济于事，最后去看了文件夹的权限，果然有问题，caches所有者是root，试着把它改为www，再次更新内容就ok了。附上迁移教程
深度学习已经为人工智能领域带来了巨大的发展进步。但是，必须说明训练深度学习模型需要显著大量的计算。在一台具有一个现代 GPU 的单台机器上完成一次基于 ImageNet 等基准数据集的训练可能要耗费多达一周的时间，研究者已经观察到在多台机器上的分布式训练能极大减少训练时间。近期的研究已经通过使用 2048 个 GPU 的集群将 ImageNet 训练时间降低至了 4 分钟。这篇论文总结了各种用于分布式训练的算法和技术，并给出了用于现代分布式训练框架的当前最佳方法。更具体而言，我们探索了分布式随机梯度下降的同步和异步变体、各种 All Reduce 梯度聚合策略以及用于在集群上实现更高吞吐量和更低延迟的最佳实践，比如混合精度训练、大批量训练和梯度压缩。
FinalShell是一体化的的服务器,网络管理软件,不仅是ssh客户端,还是功能强大的开发,运维工具,充分满足开发,运维需求. 用户QQ群 342045988 Windows版下载地址: http://www.hostbuf.com/downloads/finalshell_install.exe Mac版,Linux版安装及教程: http://www.hostbuf.com/t/1059.html 更新日志: http://www.hostbuf.com/t/989.html 主要特性: 1
注意：ClickHouse并非无所不能，查询语句需要不断的调优，可能与查询条件有关，不同的查询条件表是左join还是右join也是很有讲究的
说起通过网络批量安装系统，大家可能第一时间会想到学校里联想机器的同传系统，使用方便操作简单，但也仅适用于联想品牌机；而微软自带的windows网络部署工具，操作异常繁琐；那么，有没有一种能通过网络批量安装ghost文件且操作简单的小工具呢？今天给大家带来的是诚龙网维PXE_ghost11.0工具的介绍。
适时的使用 OPTIMIZE TABLE 语句来重组表，压缩浪费的表空间。这是在其它优化技术不可用的情况下最直接的方法。OPTIMIZE TABLE 语句通过拷贝表数据并重建表索引，使得索引数据更加紧凑，减少空间碎片。语句的执行效果会因表的不同而不同。过大的表或者过大的索引及初次添加大量数据的情况下都会使得这一操作变慢。
一、秒级启动一个HTTP下载服务器 在实际工作中，时不时会有这样的一个需求：将文件传给其他同事。将文件传给同事本身并不是一个很繁琐的工作，现在的聊天工具一般都支持文件传输。但是，如果需要传送的文件较多，那么，操作起来就会比较麻烦。此外，如果文件在远程的服务器上，你要将文件传给同事，则需要先将远程服务器的文件下载到本地，然后再通过聊天工具传给同事。再或者，你并不是特别清楚要传哪几个文件给同事，所以，你们需要进行来回的交流。交流的时间成本是比较高的，会降低办事效率。此时，你们需要更加高效的方法。这个时候，如果你知道Python内置了一个下载服务器就能够显著提升效率了。例如，你的同事要让你传的文件位于某一个目录下，那么，你可以进入这个目录，然后执行下面的命令启动一个下载服务器： 本地有个一文件夹，想共享给局域网同事下载一些里面的文件，可以使用python的如下命令。 • python2的用法如下: python -m SimpleHTTPServer • python3的用法如下: python3 -m http.server --cgi 以上两种方法默认端口8000，可以制定端口，例如指定端口45678: python -m SimpleHTTPServer 45678 python3 -m http.server --cgi 45678
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
