最近在做算法工程端的时候，发现用户的相关特征比较大，如用户离线特征、实时曝光、实时点击等，如果按照常规方式存入Redis，则是每个用户所消耗的内存大小会是在50K-70K或者甚至更大。所以在想，用什么压缩工具序列化和压缩后存入Redis呢？以前做游戏服务器的时候用过Protobuf，序列化和反序列化性能都很好，所以想到了用Protobuf；压缩工具当时想选LZ4，发现我们的东西不是特别大的那种，所以用JDK自带的解压缩性能就能满足，故有了现在的这篇文章。
RASP英文为 Runtime application self-protection，即运行时应用程序自我保护。“运行时应用程序自我保护”的概念由Gartner在2014年提出，含义是：对应用服务的保护不应该依赖于外部系统，应用应该具备自我保护的能力。这意味着，RASP在程序执行期间运行，使程序能够自我监控并识别有害的输入和行为。OpenRASP 是该技术的开源实现，它改变了防火墙依赖请求特征来拦截攻击的模式。
综上所述，Elasticsearch之所以这么快，由于其运用多项高效技术，提升数据存储、查询、处理效率，构筑快捷搜索体验。
azkaban airflow dolphinscheduler oozie 自研
LAZYPARIAH是一款功能强大的命令行工具，该工具依赖的组件并不多，但是却可以帮助广大研究人员在渗透测试过程中利用命令行接口实时生成反向Shell Payload。
Fenlon，携程资深后端开发工程师，负责国际业务多语言中台部分客户端和服务端研发。
java应用监控之调用链跟踪选型之Zipkin、Pinpoint、SkyWalking、CAT
Zing虚拟机文档Understanding Java Garbage Collection(了解Java垃圾收集)
前言：首先我们需要一个工具能够连接到服务器，这里先选用最轻便的PuTTY（其他工具都可）（点击下载PuTTY）
在之前的文章中，我们介绍了使用JOL这一神器来解析java类或者java实例在内存中占用的空间地址。
【Nginx系列：Nginx源码安装】中源码安装Nginx时，讲到需要安装zlib和zlib-devel是因为两个库提供了压缩功能，而Nginx的ngx_http_gzip_module模块就是使用这两个库进行数据压缩的。
2.jstat：JVM Statistics Monitoring Tool
JPG和PNG是两种常见的图片文件格式，在压缩方式、图像质量、透明效果和可编辑性等方面存在显著差异。
McObject2008年发布了其开源、面向对象嵌入式数据库系统的主要升级：Perst 3.0版本。使用全Java和全.NET版本Perst工作的开发人员都将从包括创建全文本搜索、嵌入式Java高效压缩和.NET本地语言查询（LINQ）等改进中获益。 同时，新版本也提供更详实的文档，包括类似于MSDN的Perst API .NET用户指导，和一份38页附有丰富代码实例的指导说明，让用户一步步了解Perst新特性和设计原则。 Perst内建的全文本搜索功能增强了更早的数据库与开源Apache L
在构建一个C++大型流媒体项目，特别是针对千万级直播系统，我们需要考虑从底层到应用层的多个方面。首先，基于应用层组播的技术是一个关键因素，因为它不需要网络层设备的支持，适合用于流媒体服务。这种方法可以显著提高系统的用户数量并保持较好的服务质量。此外，采用双层架构和整体分层、局部集中的思想来构造转发树，可以保证系统在大规模用户环境下的良好可扩展性。
Oracle GoldenGate 是一款实时访问、基于日志变化捕捉数据，并且在异构平台之间迚行数据传输的产品。GoldenGate TDM是一种基于软件的数据复制方式，它从数据库的日志解析数据的变化（数据量只有日志的四分之一左右）。GoldenGate TDM将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达10:1的压缩率对数据迚行压缩，可以大大降低带宽需求。在目标端，GoldenGate TDM可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的。
JVM 在执行 Java 应用程序时，将加载的 Java 类的许多细节记录在内存中，这些信息称为类元数据（Class MetaData）。这些元数据对于 Java 的很多灵活的语言以及虚拟机特性都是很重要的，比如动态类加载、JIT 实时编译、反射以及动态代理等等。不同的 JVM 加载类保存的内存信息是不一样的，它们通常在更低的内存占用与更快的执行速度之间进行权衡（类似于空间还是时间的权衡）。对于 OpenJDK Hotspot 使用的则是相对丰富的元数据模型来获得尽可能快的性能（时间优先，不影响速度的情况下尽量优化空间占用）。相比于 C,C++,Go 这些离线编译为可执行二进制文件的程序相比，像 JVM 这样的托管运行时动态解释执行或者编译执行的，则需要保留更多关于正在执行的代码的运行时信息。原因如下：
Fourinone-4.17.10 新版本内容： 虽然现在最火的是 AI，但是大数据和计算能力仍然是机器学习 /AI 算法的重要支撑，我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据，通过消息通道发送到大数据平台进行存储、加工和统计，然后在统计数据之上提供算法挖掘用户偏好行为和画像，为此，我们的关键任务是需要从海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau（日活）、mau（月活）等指标，这个过程存储占用越少，计算时间越快越好。Fourinone(CoolHash) 拥有原创
在这个信息相当繁杂的互联网时代，我们已经学会了如何利用搜索引擎这个强大的利器来找寻目标信息，比如你会在Google上搜索情人节如何讨女朋友欢心，你也会在百度上寻找正规的整容医疗机构（尽管有很大一部分广告骗子）。那么如果在你自己开发的网站系统中需要能让用户搜索一些重要的信息，并且能以结构化的结果展现给用户，下面分享的这9款Java搜索引擎框架或许就可以帮助到你了。
Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。
多媒体是指通过计算机或电子设备，将文字、声音、图像、动画和视频等多种媒体信息形式集成在一起的技术和产品。多媒体应用允许用户以互动的方式来接收和处理信息，使得信息表达更为丰富和动态。
视频的采集涉及两方面数据的采集：音频采集和图像采集，它们分别对应两种完全不同的输入源和数据格式。
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
序列化（编码）是将对象序列化为二进制形式（字节数组），主要用于网络传输、数据持久化等；而反序列化（解码）则是将从网络、磁盘等读取的字节数组还原成原始对象，主要用于网络传输对象的解码，以便完成远程调用。
本文遵守【CC BY-NC】协议，转载请保留原文出处及本版权声明，否则将追究法律责任。
码到三十五 ： 个人主页 心中有诗画，指尖舞代码，目光览世界，步履越千山，人间尽值得 !
Kafka经常用于实时流数据架构，用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。
对于JVM的垃圾回收机制来说，是否回收一个对象的标准在于：是否还有引用变量引用改对象？只要有引用变量引用对象，垃圾回收机制就不会回收它。
在本教程中，我们将学习如何在基于Ubuntu的环境中安装开源Apache Kafka平台以及Java SDK。
CAT（Central Application Tracking）是一个实时和接近全量的监控系统，它侧重于对Java应用的监控，基本接入了美团点评上海侧所有核心应用。目前在中间件（MVC、RPC、数据库、缓存等）框架中得到广泛应用，为美团点评各业务线提供系统的性能指标、健康状况、监控告警等。自2014年开源以来，除了美团点评之外，CAT还在携程、陆金所、猎聘网、找钢网等多家互联网公司生产环境应用，项目的开源地址是http://github.com/dianping/cat。 本文会对CAT整体设计、客户端、
上一篇文章我们讲到了JVM为了提升解释的性能，引入了JIT编译器，今天我们再来从整体的角度，带小师妹看看JDK14中的JVM有哪些优化的方面，并且能够从中间得到那些启发。
https://neway6655.github.io/elasticsearch/2015/09/11/elasticsearch-study-notes.html
MobileIMSDK工程始于2013年10月，起初用作某产品的即时通讯底层实现，完全从零开发。
北京时间 2019 年 12 月 13 日，微软发布了 Visual Studio Code 1.41 版本。让我们来看看有哪些主要的更新。
LinkedIn是一个社交网络，为专业人士。它是建立使用开源产品。他们赞助了很多开源的项目。这里是LinkedIn所使用的开源产品的列表。
Kafka 是比较常用的消息队列，我们都知道 Kafka 的吞吐量很大，即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。
env.readTextFile(本地/HDFS文件/文件夹);//压缩文件也可以
之前的系列文章当中，已经为大家介绍了大数据存储当中的MongoDB、Redis等数据库，今天接着来讲Hbase。Hbase在大数据存储当中，与Hadoop生态紧密相关，也是Hadoop生态当中必学的重要组件。下面我们从基础入门开始，来讲讲Hbase。
split命令：可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。
Cloudera于7月31日宣布正式发布CDH6.3，此版本提供了许多新功能，改进了可用性，性能提升以及对更现代的Java和身份管理基础设施软件的支持(Free IPA)。
翻译：http://www.oracle.com/technetwork/articles/java/g1gc-1984535.html
这是由一篇我的演讲稿整理出来的文章，目标读者是对实时音视频开发感兴趣但是又不知道如何下手的初学者们，希望把我的经验分享出来，对大家有所帮助。
1. 请减少HTTP请求 基本原理： 在浏览器(客户端)和服务器发生通信时，就已经消耗了大量的时间，尤其是在网络情况比较糟糕的时候，这个问题尤其的突出。 一个正常HTTP请求的流程简述：如在浏览器中输入"www.xxxxxx.com"并按下回车，浏览器再与这个URL指向的服务器建立连接，然后浏览器才能向服务器发送请求信息，服务器在接受到请求的信息后再返回相应的信息，浏览器接收到来自服务器的应答信息后，对这些数据解释执行。 而当我们请求的网页文件中有很多图片、CSS、JS甚至音乐等信息时，将
在浏览器(客户端)和服务器发生通信时，就已经消耗了大量的时间，尤其是在网络情况比较糟糕的时候，这个问题尤其的突出。
使用或维护Linux系统的都知道，我们日常对服务器的操作，一般都会借助SSH工具远程登录到服务器之后进行操作。常用的SSH工具有不少，比如：Xshell、Putty、SSH Secure Shell Client、secureCRT等等。民工哥使用过其中两种secureCRT和Xshell。
每次出去玩之前都会上网搜很多很多的攻略。但是发现更多的是游记；游记里面的大部分信息是介绍景色、感悟等；其实除了这部分信息，怎么去，有什么注意事项等等更是很多人想要关注的事情。然而要么是因为玩的太久忘记了，要么是没有想到，很多游记对于这部分信息的记录寥寥。其实这部分信息的记录并不复杂，正好有朋友问我，因此就专门写篇文章把自己的一些经验分享一下。 作为一个高逼格的工程师，肯定是要通过各种技术手段来协助自己记录。不然好不容易出去玩，不能尽兴，还要花很多心思来记录各种时间点和经历也太伤神了，同时也失去了旅行的意义。
坦白从宽吧，我就是那个花了两天两夜把 1M 图片优化到 100kb 的家伙——王小二！
winscp软件（上传软件到Linux服务器中，alt+p，还可以下载Linux的软件到本地）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
