缓存是用来提高应用程序性能的常见技术，其实现方式是将常用数据从慢数据源复制到更快的数据源。对于数据驱动的应用程序来说，该技术通常需要将从数据库或 Web 服务检索到的数据缓存到本地计算机的内存中。 当缓存特定于每个应用程序时最容易实现缓存技术，但是如果多个应用程序需要使用一个公共缓存，那么问题将变得更具挑战性。例如，大型网站通常使用服务器场，其中包含多个提供相同内容的计算机。当每个请求到达时，它会被分配给场中的其中一台计算机。然而，如果信息缓存到场中的一台计算机内存中，其他计算机中的缓存就无法访问它，因此
WebLogic是美国Oracle公司出品的一个Application Server，确切的说是一个基于JAVAEE架构的中间件，WebLogic是用于开发、集成、部署和管理大型分布式Web应用、网络应用和数据库应用的Java应用服务器。将Java的动态功能和Java Enterprise标准的安全性引入大型网络应用的开发、集成、部署和管理之中。
熔断是分布式系统的重要组成部分。快速失败并尽快给下游施加压力，可以防止整个微服务系统进入糟糕的级联雪崩状态。这是Envoy 网格的主要优点之一，Envoy 在网络级别实现强制断路限制，而不必独立配置和编写每个应用程序。Envoy 支持各种类型的完全分布（不协调）的熔断：
J2ee开发主要是浏览器和服务器进行交互的一种结构.逻辑都是在后台进行处理,然后再把结果传输回给浏览器。可以看出服务器在这种架构是非常重要的。 这几天接触到两种Java的web服务器，做项目用的Tomcat，看视频看的是WebLogic Server（WLS），都是web服务器，有什么区别和联系呢？ （一）先简单介绍一下这两种服务器。 WebLogic是美国bea公司出品的一个application server，确切的说是一个基于Javaee架构的中间件，纯java开发的，最新版本WebLogic Server 9.0是迄今为止发布的最卓越的BEA应用服务器。BEA WebLogic是用于开发、集成、部署和管理大型分布式Web应用、网络应用和数据库应用的Java应用服务器。将Java的动态功能和Java Enterprise标准的安全性引入大型网络应用的开发、集成、部署和管理之中。完全遵循J2EE 1.4规范。 Tomcat服务器是一个免费的开源的Web 应用服务器，是Apache 软件基金会的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，运行时占用的系统资源小，扩展性好，支持负载平衡与邮件服务等开发应用系统常用的功能；而且很重要的是她免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。而且由于开源，它还在不断的改进和完善中，任何一个感兴趣的程序员都可以更改它或在其中加入新的功能。 （二）相同点： WebLogic和Tomcat都是基于java的基础架构来满足实时处理需求，不同的版本与jdk版本兼容和有所不同;因为都是要和前台交互，所以他们都基于sun公司的servlet来实现的。 （三）不同点： 功能性： WebLogic更加强大。weblogic是j2ee的应用服务器（application server），包括ejb ,jsp,servlet,jms等等，全能型的。是商业软件里排名第一的容器（JSP、servlet、EJB等），并提供其他如JAVA编辑等工具，是一个综合的开发及运行环境。 WebLogic应该是J2EE Container(Web Container + EJB Container + XXX规范)！ Tomcat只能算Web Container，是官方指定的JSP&Servlet容器。只实现了JSP/Servlet的相关规范，不支持EJB（硬伤啊）!不过Tomcat配合jboss和apache可以实现j2ee应用服务器功能 一般来说考虑stucts等架构tomcat就可以了，但如果考虑EJB的话，WebLogic是比较好的选择。 扩展性： 用WebLogic运行标准的java可能并不是最好的方式，WebLogic里支持他自己的一些东西，这些东西虽然是在纯java基础上开发的，但其他工具里都没有。WebLogic Server凭借其出色的群集技术，拥有处理关键Web应用系统问题所需的性能、可扩展性和高可用性。 WebLogic Server既实现了网页群集，也实现了EJB组件 群集，而且不需要任何专门的硬件或操作系统支持。网页群集可以实现透明的复制、负载平衡以及表示内容容错 。 无论是网页群集，还是组件群集，对于电子商务解决方案所要求的可扩展性和可用性都是至关重要的。共享的客户机/服务器和数据库连接以及数据缓存和EJB都增强了性能表现。这是其它Web应用系统所不具备的 所以，在扩展性方面WebLogic是远远超越了Tomcat。 费用上： Tomcat开源免费。 WebLogic不开源不免费。 总之，在功能强大和扩展性和可用性等方面WLS比Tomcat好很多，但这也不能说明WLS适合每一方面，从Tomcat的使用流行度便可以看出，Tomcat虽功能有限，但也很受欢迎。其实关键看你要做什么。Tomcat 是免费开源的jsp,servlet引擎，入门级别的Web服务器，刚入门的IT人使用Tomcat简单易上手。而且它一个轻量级应用服务器，最重要的是它免费，所以在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。Tomcat比较轻巧，消耗资源较少。当然，项目大的时候，WLS肯定再合适不过，而且Tomcat也无法满足太多需求，但是，WLS的费用也是不可小觑的。 总之，关键看你做什么，权衡利弊做选择。 此外，还有其他J2EE Application Server，例如： IBM的websphere、Sun的Glassfish、resin等。Apache全球应用最广泛的http服务器，免费。同样开源免费的JBoss
Elasticsearch是一种流行的开源搜索服务器，用于实时分布式搜索和数据分析。当用于开发以外的任何其他任务时，Elasticsearch应作为集群跨多个服务器部署，以获得最佳性能，稳定性和可伸缩性。
XWiki支持在同一个JVM（即相同的webapp）运行数百甚至数千wiki的能力。
使用JdbcStorageHandler，可以将Hive连接到MySQL，PostgreSQL，Oracle，DB2或Derby数据源。然后，您可以创建一个表示数据的外部表，并查询该表。
上周参加了单位组织的WebLogic培训，为了便于自己记忆，培训后，整理梳理了一些WebLogic的资料，会陆续的发出来，下面是一些基本概念。
Apache Flink是用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，可为数据流上的分布式计算提供数据分发，通信和容错能力。Flink在流引擎之上构建批处理，覆盖了本机迭代支持，托管内存和程序优化。本文档适用于Apache Flink 1.10版。
在前一篇文章中，我们已经搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作，所以接下来搭建Spark会简单很多。
Web服务器是运行及发布Web应用的容器，只有将开发的Web项目放置到该容器中，才能使网络中的所有用户通过浏览器进行访问。开发Java Web应用所采用的服务器主要是与JSP/Servlet兼容的Web服务器。
日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录，开源实时日志分析ELK平台应用而生，ELK由Elasticsearch、Logstash和Kibana三个开源工具组成，这三个工具可以分别部署在不同的服务器上，并且相互关联，不过需要收集哪台服务器的日志，就必须在该服务器上部署Logstash。ELK的官网是：https://www.elastic.co/cn/ .
Lucene是开放源代码的全文搜索引擎工具包，凭借着其强劲的搜索功能和简单易用的实现，在国内已经很普及，甚至一度出现了言搜索必称Lucene的盛景。上个月Lucene的开发团队发布了 Java Lucene 2.3.1 ，相信很多朋友们都用上了。在国内对Lucene的介绍可以分为3块儿： 第一类是：以车东 的Lucene：基于Java的全文检索引擎简介 为代表的基础入门介绍； 第二类是Lucene倒排索引原理和Lucene软件包、实现类的介绍； 第三类是以中文分词为中心的介绍； 任何一个软件，包括所有伟大的软件都有这样或者那样的“缺点”和各自适用的领域，Lucene也不例外。在国内对Lucene这个软件包的批评，似乎没有看到过。可能大家都忙于做项目，纵然Lucene有再大的缺陷，凭借着Lucene良好的口碑，也不会说上一句不是。 今天在阅读LingWay （一个做垂直的语义搜索引擎）的CTO Cedric Champeau 先生的博客是发现有一篇题为：Why lucene isn't that good 为什么Lucene并不是想象的那么棒 的文章：Champeau 开门见山指出了Lucene的6大不足之处，鉴于 Lingway 公司使用Lucene已有好几年的历史，我相信Cedric Champeau的对Lucene的评论还是值得一读。 不选择使用Lucene的6大原因： 6、Lucene 的内建不支持群集。 Lucene是作为嵌入式的工具包的形式出现的，在核心代码上没有提供对群集的支持。实现对Lucene的群集有三种方式：1、继承实现一个 Directory；2、使用Solr 3、使用 Nutch+Hadoop；使用Solr你不得不用他的Index Server ，而使用Nutch你又不得不集成抓取的模块； 5、区间范围搜索速度非常缓慢； Lucene的区间范围搜索，不是一开始就提供的是后来才加上的。对于在单个文档中term出现比较多的情况，搜索速度会变得很慢。因此作者称Lucene是一个高效的全文搜索引擎，其高效仅限于提供基本布尔查询 boolean queries； 4、排序算法的实现不是可插拔的，因为贯穿Lucene的排序算法的tf/idf 的实现，尽管term是可以设置boost或者扩展Lucene的Query类，但是对于复杂的排序算法定制还是有很大的局限性； 3、Lucene的结构设计不好； Lucene的OO设计的非常糟，尽管有包package和类class，但是Lucene的设计基本上没有设计模式的身影。这是不是c或者c++程序员写java程序的通病？ A、Lucene中没有使用接口Interface，比如Query 类( BooleanQuery, SpanQuery, TermQuery...) 大都是从超类中继承下来的； B、Lucene的迭代实现不自然： 没有hasNext() 方法, next() 返回一个布尔值 boolean然后刷新对象的上下文； 2、封闭设计的API使得扩展Lucene变得很困难； 参考第3点； 1、Lucene的搜索算法不适用于网格计算； 详情可以查看：Cedric Champeau 先生的博客：Why lucene isn't that good 为什么Lucene并不是想象的那么棒
1.在CDH6.0中，点击“主机”->“所有主机”->“向群集添加新主机”，会出现异常如下：
注:本博文只用于实现简单群集配置，更深入的资料可以参考官方文档 Elasticsearch官方文档 kibana官方文档
模拟分布式存储和计算环境的一种简单方法是将Virtualbox作为VM（“虚拟机”）的提供者，将Vagrant作为配置，启动和停止这些VM的前端脚本引擎。这篇文章的目标是构建一个集群虚拟设备，将Elasticsearch作为可由主机使用/控制的服务提供。可以从Github下载本文中使用的工件。
1.Hadoop3.x通过什么方式来容错？ 2.Hadoop3.x存储开销减少了多少？ 3.Hadoop3.x MR API是否兼容hadoop1.x？
Apache Storm是一项大数据技术，使软件，数据和基础架构工程师能够实时处理高速，大容量数据并提取有用信息。任何涉及实时处理高速数据流的项目都可以从中受益。
最近项目中总是跟java配合，我一个写python的程序员，面对有复杂数据结构的java代码转换成python代码，确实是一大难题，有时候或多或少会留有一点坑，看来有空还得看看java基础。这不今天又开始让我们连接kafka啦。公司的kafka跟zookeeper做了群集，连接比较麻烦，具体如何使用，java那面做的封装我也看不到，所以只能通过简单的沟通。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/207
Hadoop是一个开源Apache项目，允许在大型数据集上创建并行处理应用程序，分布在网络节点上。它由处理节点间数据可扩展性和冗余的Hadoop分布式文件系统（HDFS™）和Hadoop YARN组成：用于在所有节点上执行数据处理任务的作业调度框架。
之前的文章介绍过 VMware 在 VMworld 上宣布的太平洋项目 (Project Pacific) ，这是 vSphere 向 Kubernetes 原生平台的演进。太平洋项目引入了 vSphere 主管集群（ Supervisor Cluster ）的概念，该集群能够在 ESXi 上原生地运行 Kubernetes Pod（称为 Native Pod ）。
消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信息交换机制是重要的。常用的消息队列技术是 Message Queue。
许多企业都结合使用 Microsoft .NET Framework 和 Java 应用程序，尤其是那些出于各种考虑不能只依赖于单一技术的大中型企业。 通常，企业采用 Web 应用程序、面向服务的体系结构 (SOA) Web 服务以及其他服务器应用程序来处理大量事务。 其中很多应用程序在运行时需要相互共享数据。 通常，这些应用程序全都是对数据库中所存储的常用业务数据进行操作。 它们面对的一般是连续数据流（如金融交易应用程序），而且需要在运行时多次处理数据并与其他应用程序共享结果。 虽然数据库是永久存储数据的
hadoop提供了一个可靠的共享存储和分析系统。HDFS实现数据的存储，MapReduce实现数据的分析和处理。虽然Hadoop还有其他功能，但HDFS和MapReduce是核心价值。
Spark是一种通用的集群计算系统。它可以在从单个节点到数千个分布式节点的集群上部署和运行并行应用程序。Spark最初设计用于运行Scala应用程序，但也支持Java，Python和R.
红帽JBoss Fuse 十多年来一直是构建Java Web / RESTful服务的实际标准。但是，如何在当今以云为中心的世界中该怎样高效运行？如您所见，基础架构即代码(infrastructure-as-a-code)和可扩展/容错(scalable/fault-tolerant)方法对于成功部署至关重要。
Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划，您可以保证在升级期间不会出现停机。但是，请在升级之前查看2.0.0中的重大更改。
我所在的公司目前使用的K8S是RedHat的OpenShift 4, 虽然有官方文档, 并且有专门的 Develop 章节, 但是实际使用发现, 开发者(特别是中国的开发者, 传统行业\金融行业的开发者)关注的功能和章节相去甚远. 所以我专门针对开发经常问我的问题, 总结出来这个系列文章.
Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息，而且其数据聚合率接近1 Tbps。
在本文中，您将学习如何将三个简单的Java服务部署到Kubernetes（通过新的Docker for Mac / Windows集成在本地运行），并通过Kubernetes-native Ambassador API Gateway向前端用户公开前端服务。所以，抓住你选择的含咖啡因的饮料，在你的终端前舒服一点！
作者 | Serdar Yegulalp 编译 | 夜风轻扬 在过去的一年里，机器学习炙手可热。机器学习的“突然”降临，并不单纯因为廉价的云环境和更强有力的GPU硬件。也因为开放源码框架的爆炸式增长，这些框架将机器学习中最难的部分抽象出来，并将这项技术提供给更广大范围的开发者。 这里有新鲜出炉的机器学习框架，既有初次露面的，也有重新修改过的。这些工具被大众所注意，或是因为其出处，或是因为以新颖的简单方法处理问题，或是解决了机器学习中的某个特定难题，或者是上述的所有原因。 Apache Spark MLl
在过去的几周中，我进行了四个现场的NiFi演示会议，在不同地理区域有1000名与会者，向他们展示了如何使用NiFi连接器和处理器连接到各种系统。我要感谢大家参与和出席这些活动！如今，当在家中远程工作成为一种规范时，我们都需要交互式的演示会议和实时问答。如果您还没有看过我的现场演示会议，可以在这里观看，视频还没有过期。
总之，一个机器学习框架包括如何处理数据，分析方法，分析计算，结果评估和结果利用。 一个好的机器学习框架需要处理大规模数据提取和数据预处理，还需要处理快速计算、大规模和高速的交互式评估，以及简单易懂的结果解释和部署。
Elasticsearch是一个实时分布式搜索和分析数据的平台。它的流行是由于它的易用性，强大的功能和可扩展性。
本文演示了一个在云或虚拟平台上，用于自动化部署和管理Docker Java微服务应用程序的解决方案。我们通过扩展现有项目Chris Richardson的示例——一个事件溯源（Event Sourcing）的基于微服务的资金转移程序。引入CQRS和Docker来自动构建和部署该项目。我们的项目包含有用于每个微服务的Dockerfiles文件，还将提供一个可在Web服务器上运行的整合前端，这个前端可以提供所用到的微服务。我们使用Nginx Web sever，在前端页面的默认目录/ usr / share / nginx / html /中编写JavaScript代码。前端将暴露出如下功能：
ELK日志分析系统是Logstash、Elasticsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示
HDFS采用主/从体系结构，整个HDFS集群由一个Namenode和多个Datanode构成master-worker（主从）模式。Namenode负责构建命名空间，管理文件的元数据等，Datanode负责实际存储数据和处理来自系统客户端的读写请求。
此消息表明一个操作尝试要求以Kerberos的user/host@realm身份认证的操作，但票据cache中没有用于user/host@realm的票据。
一般涉及大型数据库的电子商务和搜索引擎的产品都面临这样一个问题，产品信息检索花费时间太长。这不良的用户体验，可能导致失去潜在的客户。这种滞后搜索归因于产品设计所使用到关系数据库，数据分散在多个表中，关系型数据处理这些表中数据获取搜索结果时工作速度是远远不能瞒足。可以说，现在的企业正在寻找数据存储的替代品，以期促进快速检索，而 Elasticsearch（ES）的出现很好解决这些问题。
在最后一篇文章中，我们用各种模板进行了设置。现在我们需要让他们工作起来了。
请务必注意CDP Data Center的安装前置条件，请到https://docs.cloudera.com/cloudera-manager/7.1.1/installation/topics/cdpdc-requirements-supported-versions.html 查询对应版本的前提条件。对应CDP数据中心版7.1来讲，前提条件包括如下：
java -jar weblog的jar包.jar -mode=console
从2008R2到2012R2 2016 再到即将发布的2019，仿佛就在弹指一瞬间，在这个演变过程中很多技术都发生了变化，有很多新鲜的场景涌现出来，很多好的技术在演变过程中国内没有人提到，尤为可惜，今天老王来为大家补遗一个群集存储池的技术场景
群集仲裁的目的之一是防止群集出现网络分区的时候导致群集脑裂，脑裂是群集出现分区（或者叫分组）的结果，群集分区意味着两个分区都认为对方已经不存在或者失效，于是会争夺群集资源的控制权。脑裂的后果是两个分区各自同时且独立读写共享磁盘而导致磁盘数据混乱。
本文章会描述如何用SpringBoot更好的集成Quartz定时器，从Quartz配置、如何持久化、如何设计等方面进行描述。
传输层安全性（TLS）在ClouderaManager服务器和代理之间的通信中提供加密和身份验证。 加密可防止通信侦听，并且身份验证有助于防止恶意服务器或代理在群集中引起问题。Cloudera Manager支持三种级别的TLS安全性，三种必须逐级配置。
“Windows Server 故障转移群集”(WSFC) 群集是一组独立的服务器，它们共同协作以提高应用程序和服务的可用性。SQL Server 2012 利用 WSFC 服务和功能支持 AlwaysOn 可用性组和 SQL Server 故障转移群集实例。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
