服务器出现故障是大家都非常关心的，而服务器由CPU，内存，磁盘，主板，电源等多种部件组成，一定会有一定的失效率。本文介绍服务器失效的特性及一些部件的失效标准，探讨降低服务器失效对业务的影响。
搜索型NoSql（代表----ElasticSearch）：支持快速的全文搜索，同时可以各种方式的分词查询等。但是不能随意扩展结构。
一、简 介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：
Bigtable被称为谷歌的三驾马车之一，主要面向谷歌的结构化数据存储,其思想被许多nosql数据库继承。Bigtable建立于GFS和Chubby之上，而为MapReduce服务,可以说是承上启下。
Bigtable 是一个用来管理结构化数据的分布式存储系统，具有很好的伸缩性，能够在几千台应用服务器上处理PB数量级数据。谷歌有许多项目都把数据存储在Bigtable中，包括web indexing,Google Earth, and Google Finance. 这些应用对Bigtable的侧重点不同，但是他们都是海量数据和实时性的应用。尽管需求变化多端，Bigtable很好的提供了一个灵活多变，高性能额解决方案。
最简单的索引策略就是：将key值的offset存入在内存，使用hash表进行管理，在搜索时，会先根据key值找到offset，进而由offset找到对应的value值。不过看起来很简单，问题在于hash表需要保存在内存。一旦重启，索引就需要重新载入。
TeamTalk是蘑菇街开源的一款企业内部用的即时通讯软件（Enterprise IM），类似腾讯的RTX。网上也有很多的介绍，我这里也有写几遍关于这款产品的“流水账”，一方面对自己这段时间的阅读其代码做个总结，尽量做个既能宏观上从全局来介绍，又不缺少很多有价值的微观细节，另一方面如果对于作为读者的您有些许帮助，那就善莫大焉了。 项目地址github：https://github.com/baloonwj/TeamTalk 如果您打不开github，请移步至百度网盘下载：http:/
今天的内容包括建模优化、读写性能优化，会涉及一些简单的原理介绍。主要面向 0.8 - 0.10 版本。
1、 小红书开源一款播放器。REDPlayer是一款由小红书自主研发的跨平台(支持Android、iOS、HarmonyOS等平台)播放器。不同于行业其他播放器，REDPlayer 具有结构简单、耦合度低、功能边界清晰等特点，提供了多种接入方式，技术人员可根据需要灵活选择，既可快速集成SDK使用，也可基于源码进行定制开发。 --gitee
GFS 作为其中一驾宝车，解决了大数据存储的难题。它能够把大量廉价的普通机器，聚在一起，充分让每台廉价的机器发挥光和热。其中在《从谷歌 GFS 架构设计聊开去》中我们针对 GFS 进行了管中窥豹，体会到其中一斑，不得不说是人多力量大，团结就是力量的体现。
LPG日志收集方案内存占用很少，经济且高效！它不像ELK日志系统那样为日志建立索引，而是为每个日志流设置一组标签。下面分别介绍下它的核心组件：
2.3 Prometheus数据模型 2.3.1 指标名称 2.3.2 标签 2.3.3 采样数据 2.3.4 符号表示 2.3.5 保留时间
会保证每周不低于两篇更新，订阅方式见👉这里，欢迎喜欢我文章的朋友们的订阅支持，激励我产出更多优质文章。 RocksDB 是很多分布式数据库的底层存储，如 TiKV、CRDB、NebulaGraph 等等。在 DataDog 工作的 Artem Krylysov 写了一篇文章（原文链接：https://artem.krylysov.com/blog/2023/04/19/how-rocksdb-works/）来对 RocksDB 做了一个科普，通俗易懂，在这里翻译下分享给大家。
在上篇文章我们讨论了数据模型，今天试着讨论更基础的数据存储和搜索。数据存储根据开发者使用，可以分为一般的事务处理和数据分析，因为这两者面临的情况不一样。事务处理聚焦于快速的存储和搜索少量的数据，但是数据分析需要读取大量的数据去进行聚合，而不怎么考虑读取花费的时间。后者一般称为数据仓库。 首先我们先看看传统数据库和大部分NoSQL的数据存储引擎。这个实际上分为两个流派，一个是基于日志结构，主要使用了LSM树，另一个是基于OS的页的结构，就是所谓的B树。这么说可能比较难懂。让我们想象一下，假设你有一个excel，里面存储了一条数据a,b，如果我们想查询a，我们可以遍历excel找到满足以a开头的数据a,b。这就是一个简单的数据库，存储数据时，只要简单的添加在下一列。查找时进行遍历，找到符合条件的。让我们想想这会有什么问题。对于数据存储，我们只需要简单的添加数据，对于磁盘这样极有效率，当然实际上的数据库还要考虑并行处理、磁盘存储空间不足等等情况。存储数据的file，就是所谓的log。另一方面，对于搜索数据，这个效率就相当慢了，因为每次搜索数据都需要遍历整个文件，时间复杂度是线性的增长，这时候我们就需要索引了。显然索引对于整个数据存储文件而言，是额外的存储结构，维护索引结构会牺牲write的效率。 对于索引结构，首先想到的是key-value结构。例如对于数据a,b c,f,d这种数据，我们可以用一个索引a,0 b,3这种hash map的形式0和3代表着文件的offset，我们查找数据的时候，先去hash map找到对应的key值，获得offset，我们就能获得key值对应的value。这听起来很简单，然而这就是Bitcask的实现方式。这个索引结构是完全存储在内存当中，如果超出内存的话，就会放在磁盘上。如果数据一直在增长，磁盘空间肯定会有不足的那一刻，解决办法就是将数据拆分为固定大小的segment，以及在合适的时候，合并segment，根据时间戳，保留最新的value值，重新写入新的segment，对旧的进行删除。对于实际的工程，我们还需要考虑 1.文件存储的格式，一般而言应该是以bytes存储 2.删除数据时，应该加上一个标签，比如tombstone，在合并segment时，对数据进行删除 3.数据库崩溃重新恢复，Bitcask使用的是快照的方式在磁盘保存索引结构 4.并发的写入数据，这个需要检查点来处理数据写入时数据库崩溃 5.并发控制，因为文件的immutable，所以并发控制相当简单。 但是这个依然存在问题，让我们想想，那就是hash table必须存储在内存中，这个对于大数据时很不友好，即使你是存储在磁盘上。并且对于范围查找很不友好，因为你需要遍历所有key去查找一个范围内的一个key。 为了解决范围查找，人们又提出了在创建索引时，我们可以按照key值进行排序，这样的存储方式叫做SSTable。这样有下面的几个好处，合并segment变得更有效率了，因为你只需要读取开始的key和结束的key就可以了。在保存索引时，也不需要将所有的key存储在内存里，只需要保存每个segment的开始key和结束key。读取数据时，也不需要遍历所有的key值了。那么对于维护索引呢？我们在写入数据时，会先写入memtable（存储在内存的例如红黑树之类的数据结构）。当memtable超过某个阈值时，会将memtable写入到磁盘的segment中。在读取数据时，我们会首先在memtable中查找数据，然后再根据时间逐步读取segment。每隔一段时间，后台进程便会合并segment，清理垃圾数据。这样处理的唯一问题，就是memtable遇到服务器崩溃。我们可以牺牲一部分write的效率，生成一个独立的log去立马保存写入的数据，这个log的唯一用途就是防止memtable的丢失。 上面的就是现在HBase、LevelDB、Lucene这些使用的LSM树结构。对于其的优化，目前可以使用布隆过滤器、size-tiered等方式去优化读取和合并segment。除了LSM树，目前还有一个广泛使用的索引，那就是B树。 B树主要是利用了操作系统的页结构，将数据拆分成一个固定尺寸的block块，使用存储address和location，类似于指针的方式存储数据。具体细节不多说，网上的文章一大堆。我们需要考虑的是负载因子和二叉树的平衡。对于每次的写入和修改数据，我们都需要找到key值在系统里对应的address去修改数据，重新写入，同样为了防止数据崩溃，一般的数据库会使用预写日志(WAL)去保存每一次数据的修改和写入。 除了这些索引，还有所谓的二级索引。这个类似于倒排索引。不仅如此，还有基于列的存储方式，这个大多是为了数据仓库服务的。
本文是对去年做的webview接入HttpDNS工作的一个总结，拖的时间有点久了。主要分享了GOT Hook webview中域名解析函数的方法。 HttpDNS简介 首先简单介绍下移动App接入HttpDNS后有什么好处，这里直接引用腾讯云文档中的说明: HttpDNS是通过将移动APP及桌面应用的默认域名解析方式，替换为通过Http协议进行域名解析，以规避由运营商Local DNS服务异常所导致的用户网络接入异常。减少用户跨网访问，降低用户解析域名时延。 更详细的内容可以参考这篇文章：【鹅厂网事】
电子邮件正在成为当今互联网上最有价值的服务之一。大多数互联网系统使用SMTP作为将邮件从一个用户传输到另一个用户的方法。SMTP是一种推送协议，用于发送邮件，而POP（邮局协议）或IMAP（互联网消息访问协议）用于在收件人端检索这些电子邮件。
算 qps rate({job="message"} |="kubelet" [1m])
邮件数据防泄漏主要用于明文协议解析、加密协议解析和MTA部署解决方案，而邮件采用HTTP、SMTP/S邮件协议传输。邮件数据防泄漏要达到的目标和任务是，对所有包含敏感信息的邮件进行监听、识别和管控，避免邮件通过网络传输泄漏的风险。本期内容重点讲述邮件数据防泄漏的三种方式，可实现对所有包含敏感信息的邮件在传输时，达到监听、识别、阻断和警告的效果。 邮件数据防泄漏系统的核心技术是互联网邮件协议的解析和敏感内容识别。通过对互联网邮件协议的解析，按业务进行还原，根据制定的策略进行敏感数据匹配，一旦触发策略，根据策略
前面一篇我们说了什么？ ---- 这是这个关于NSURLSession的第二篇文章，第一篇再加上这篇文章，就大概的把NSURLSession的API以及一些简单使用我们也就说的差不多了，这篇文章总结哪些点呢？相信看顾哦第一篇文章的小伙伴都知道，在开始写这篇文章之前我们说说上一篇文章我们写了些什么。 1、NSURLRequest 2、NSURLSession 3、NSURLSessionTask 以及它的三个子类：NSURLSessionDataTask/NSURLSes
电子邮件是大家日常工作生活中最常用的交流方式之一，我们常提到的SMTP和POP3协议分别是用来做什么的呢？MUA和MTA又是具体指哪些组件呢？邮件发送和接收过程是怎样的？SMTP邮件格式是什么样子，用python/django又如何实现发送邮件呢？本文将一一解释上述问题，并与第三方提供的API对比学习代码结构。日拱一卒，我们开始吧～
说起查看日志排查 bug 的方式，早些年的时候我都是直接登陆 linux 服务器直接查看，或者下载下来查看。
经济高速发展的今天，我们处于信息大爆炸的时代。随着经济发展，信息借助互联网的力量在全球自由地流动，于是就催生了各种各样的服务平台和软件系统。
常用数据库,通常面试都会说用SQLite 嵌入式数据库是轻量级的，独立的库，没有服务器组件，无需管理，一个小的代码尺寸，以及有限的资源需求。目前有几种嵌入式数据库，你可以在移动应用程序中使用。让我们来看看这些最流行的数据库。 Berkeley DB Berkeley DB是由美国Sleepycat Software公司开发的一套开放源代码的嵌入式数据库管理系统（已被Oracle收购），它为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。 Berkeley DB（BDB）是一个高效的嵌入式
LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略，lsm_tree对索引变更进行延迟及批量处理，并通过一种类似于归并排序的方式高效地将更新迁移到磁盘，降低索引插入开销，关于LSM，本文在后面也会简单提及。
邮件已成为日常工作中必备的工具，常常作为正式交流的一种方式，那发送一封邮件是如何到达目标邮箱的呢？
在之前的 提升 Node.js 服务稳定性，需要关注哪些指标？这篇文章中，我们介绍了服务端稳定性需要关注的一些指标，其中有一个非常重要的指标 Libuv latency，计算方式如下：
所以一封邮件的流程是： 发件人：MUA --发送–> MTA -> 若干个MTA… -> MTA -> MDA <–收取-- MUA：收件人
Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对Google的这些产品，Bigtable还是成功的提供了一个灵活的、高性能的解决方案。本论文描述了Bigtable提供的简单的数据模型，利用这个模型，用户可以动态的控制数据的分布和格式；我们还将描述Bigtable的设计和实现。
在对公司容器云的日志方案进行设计的时候，发现主流的 ELK (Elasticsearch, Logstash, Kibana) 或者 EFK (Elasticsearch, Filebeat or Fluentd, Kibana) 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握的;
Grafana Loki 是一个水平可扩展，高可用性，多租户的日志聚合系统，Loki 是基于仅索引有关日志元数据的想法而构建的：标签（就像 Prometheus 标签一样）。日志数据本身被压缩然后并存储在对象存储（例如 S3 或 GCS）的块中，甚至存储在本地文件系统上，轻量级的索引和高度压缩的块简化了操作，并显著降低了 Loki 的成本，Loki 更适合中小团队。由于 Loki 使用和 Prometheus 类似的标签概念，所以如果你熟悉 Prometheus 那么将很容易上手，也可以直接和 Grafana 集成，只需要添加 Loki 数据源就可以开始查询日志数据了。
安全人员在OpenBSD SMTP中发现了一个存在长达4年的漏洞，攻击者可利用该漏洞远程执行代码，多个linux发行版本受到影响。
电子邮件系统的组成： 1）邮件用户代理（Mail User Agent ， MUA），MUA是一个邮件系统的客户端程序,它提供了阅读，发送和接受电子邮件的用户接口。 最常用的 MUA 有： linux 中的 mail ， elm ， pine 等。 Windows 的 outlook ， foxmail 等 2）邮件代理器（ Mail Transfer Agent ， MTA ） MTA 负责邮件的存储和转发（ store and forward ）。 MTA 监视用户代理的请求，根据电子邮件的目标地址找
在对公司容器云的日志方案进行设计的时候，发现主流的 ELK (Elasticsearch, Logstash, Kibana) 或者 EFK (Elasticsearch, Filebeat or Fluentd, Kibana) 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握的;
文章来源：https://c1n.cn/0wHvF 前言 在对公司容器云的日志方案进行设计的时候，发现主流的 ELK（Elasticsearch，Logstash，Kibana）或者 EFK（Elasticsearch，Filebeat or Fluentd，Kibana）比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。 下面我们来介绍下 Loki 的一些基本概念和架构，当然 EFK 作为业界成熟的日志聚合解决方案也是大家应该需要熟悉和掌握
RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识：
TeamTalk介绍 项目框架 TeamTalk是蘑菇街的开源项目，github维护的最后时间是2015但是仍然是一款值得学习的好项目，麻雀虽小五脏俱全，本项目涉及到多个平台、多种语言，简单关系如下图 image.png 服务端： CppServer：TTCppServer工程，包括IM消息服务器、http服务器、文件传输服务器、文件存储服务器、登陆服务器 java DB Proxy：TTJavaServer工程，承载着后台消息存储、redis等接口 PHP server：TTPhpServer工程，te
Promtail 是负责收集日志发送给 loki 的代理程序，Promtail 默认通过一个 config.yaml 文件进行配置，其中包含 Promtail 服务端信息、存储位置以及如何从文件中抓取日志等配置。
一、基础知识梳理 MUA (Mail User Agent) MUA 既是"邮件使用者代理人"，因为除非你可以直接利用类似 telnet 之类的软件登入邮件主机来主动发出信件，否则您就得要透过 MUA 来帮你送信到邮件主机上头去。 最常见的 MUA 像是 Mozilla 推出的Thunderbird ( 雷鸟 ) 自由软件， 或者是 Linux 桌面 KDE 常见的 Kmail ，及Windows 内件的 Outlook Express (OE) 等 。MUA 主要的功能就是收受邮件主机的电子邮件，以及提供用户浏览与编写邮件的功能！
麻省理工学院的 Ray Tomlinson 博士在参与阿帕网计划的科研项目过程中，他觉得有必要设计一种类似于“信件”的传输服务，并为信件准备一个“信箱”，这样即便对方临时离线也能完成数据的接收，等上线后再进行处理即可。
答：Postfix 是一个开源的 MTA（邮件传送代理，英文名：Mail Transfer Agent）,用于转发 email。相信很多人知道 Sendmail，而 Postfix 是它的替代品。默认端口是25。
1、概述 Email是Internet最基本、最重要的服务之一。与传统的邮政信件服务相比，电子邮件具有快速、经济的特点。与实时信息相比，电子邮件采用存储转发的方式，发送邮件时并不需要收件人处于在线状态。因此，电子邮件具有其他通信方式不可比拟的优势。
昨天，分析修复了一个connector的问题。下面开始陈述整个过程，依旧按照之前的陈述思路进行：
第9章 日志监控 虽然我们的主机、服务和应用程序可以生成关键指标和事件，但它们也会生成日志，这些日志可以告诉我们其状态的有用信息 特别是对于没有设置监控或者不容易进行监控的遗留应用程序，有时重写、修补或重构该应用程序以暴露内部状态的成本绝对不是一项有利的工程投资，或者还可能存在监控上的技术限制。但是你仍然需要了解应用程序内部发生的情况，最简单的方法之一是调整日志输出 提示：另一种方法是使用Process exporter查看/proc子系统的内容（https://github.com/ncabatoff/p
Loki的第一个稳定版本于2019年11月19日发布 是 Grafana Labs 团队最新的开源项目 是一个水平可扩展，高可用性，多租户的日志聚合系统 Loki 特性
描述：在上一篇文章中，已经将 Windows Server 业务服务器通过 syslog 的方式将系统日志转发到 远程 rsyslog 日志服务器中，但是由于 rsyslog windows agent 诸多限制（太贵了），所以最终放弃了此方法，从而继续查看是否有其他更好的收集Windows 事件日志的方法，通过搜索引擎，最终找到 Promtail 采集 Windows Server 事件日志的配置方法，这里不得不说到国内关于使用 Promtail 采集 Windows Server 事件日志的资料很少，大多只是只言片语，所以作者在实践中遇到的许多的坑，最终是靠着Loki官方日志、和issue以及不断的尝试，这里记录下以便后续有需求的童鞋，也希望各位看友能多多支持《#网络安全攻防实践》专栏，收获一定大于付出。
假设我们自己的邮件地址是myemail@163.com，对方的邮件地址是friend@qq.com，我们在网易提供的163邮箱界面编写邮件，然后发送给对方。那么，这封邮件是怎么从我方发送到对方的呢？
领取专属 10元无门槛券
手把手带您无忧上云
