KS-检验与t-检验等方法不同的是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布时，KS-检验的灵敏度没有相应的检验来的高。在样本量比较小的时候，KS-检验作为非参数检验，在分析两组数据之间是否存在异常时相当常用。
Kafka经常用于实时流数据架构，用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。
如果在请求的过程中服务器报错了，默认是让它继续。做性能测试，大量的并发用户向服务器发起请求，请求的过程中，服务器可能偶尔出错。
最近我们组在大规模上线Flink SQL作业。首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。但是发现某些作业的追数过程十分缓慢，要运行一晚上甚至三四天才能追上最新数据。由于是实时数仓指标计算上线初期，经常验证作业如果有问题就得重蹈覆辙重新追数，效率很低，于是我开始分析Flink SQL的优化。
软件架构对功能性需求影响并不大，它影响非功能性需求，即质量属性或者其他能力，如交付速度的可维护性、可扩展性和可测试性。
Adiabatic，意思是绝热，这一概念来源于量子力学中的绝热近似（adiabatic approximation）。所谓绝热定理，是指对于一个量子系统，如果所受的微扰变化得非常缓慢，系统仍然处于当前时刻的本征态。这个定理有点像“温水煮青蛙”，把青蛙的“平静”与“躁动”看成两个本征态，水慢慢煮开，而青蛙一直很平静，没有察觉到水温的变化。
导读：小丘哥哥最近学习维度建模，整理了一些学习心得，跟大家一起分享一下，相互学习，共同进步，感觉好文章底部点个赞，鼓励一下小丘哥哥哈哈。
最近，动态卷积方面的研究表明，K个静态卷积核的自适应聚合，可以使得CNN的性能显著提高。然而，它有两个局限性：（a）它将卷积权重的数量增加了k倍 ，（b）动态注意力和静态卷积核的联合优化具有挑战性 。
本篇文章是关于 Kubernetes API 的。如何使用自定义资源 (CR) 对其进行扩展，以及当它的某些部分被弃用时意味着什么？
长期以来，Kimball方法一直是维度数据建模技术的标准。根据Kimball的说法，“时间概念渗透到数据仓库的每个角落”。这在数据分析的背景下意味着什么？在较高的层面上，现代分析可以被视为随着时间的推移不断变化的数据的聚合。问题在于，不断变化的数据不仅包括新的添加，还包括对先前数据集的更改。
Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。
木桶理论又称短板理论，其核心思想是一只木桶盛水多少，并不取决于最高的木板，而取决于最短的那块木板。
Spark 中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。
为了保证网络的可靠性，我们往往会对关键链路进行冗余设计，而这难免就会产生一个封闭的物理环路，但是以太网的转发机制又决定了不能有物理环路，一有环路，发给所有主机的广播就会在环路反复传播，这便是广播风暴，此时网络及应用的访问将会变得缓慢，发生网络丢包等，甚至导致网络完全中断。
如果病患不再需要药物时，还可以服下聚合物分解剂，让药丸安全的从身体里排出。 为了可以让人们不会再因为忘记吃药而加重病情，来自MIT（美国麻省理工学院）和布莱根妇女医院（Brigham and Women’s Hospital）的研究人员想到了一个新点子，发明一种新型的药物递送系统，能够让药物在服用期间长期停留在胃里，持续释放，如果不再需要时可以轻松排出。 就在最近，这群研究人员终于将这一新型递药系统研究出来，他们采用了所发明的可分解硬水凝胶（TTH）材料，可以让药物在人们的胃中停留长达9天，而且会在这9天内
有时候我们需要对数据进行分析操作，比如一些统计操作、联表查询等，这个时候简单的查询操作就搞不定这些需求，因此就需要使用聚合操作来完成。
Prometheus 提供了一种功能表达式语言 PromQL，允许用户实时选择和汇聚时间序列数据。表达式的结果可以在浏览器中显示为图形，也可以显示为表格数据，或者由外部系统通过 HTTP API 调用。
NumPy数组的计算：通用函数缓慢的循环通用函数介绍探索Numpy的通用函数高级通用函数的特性聚合：最小值、 最大值和其他值数组值求和最大值和最小值其他聚合函数
机器之心报道 编辑：陈萍、泽南 以后在北方开电车也不是问题了？ 一种新型锂离子电池既可以在零下 40°C 的低温下工作，也可以在 50°C 的高温下工作。这种新型电池阴极使用硫制作，电池可以储存更多的能量。这是来自加州大学圣地亚哥分校（UCSD）的一项新研究。 这种电池可以增加电动汽车在寒冷温度下的行驶里程。此外，它们还可以用于卫星、航天器、高空无人机和潜艇。UCSD 纳米工程教授陈政（Zheng Chen）表示：通过大幅扩展锂电池的可操作窗口，我们可以为电动汽车之外的应用提供更强大的电化学物质。 目前来看
同样和上一篇一样，打开Cloudera manager管理软件，yarn页面，点击配置。
某日早上八点半，笔者接到客户反馈，门户首页待办访问异常缓慢，经常出现“访问异常，点击重试”。当时直觉告诉我，应该是大量用户高并发访问 MongoDB 库，导致 MongoDB 库连接池出问题了，因为上线发版时，功能是正常的。
机器之心编译 机器之心编辑部 续航和快充问题解决一个，电车的推广就没有多少阻碍了。 无论是光伏还是聚变，人类文明迟早都要转向可再生能源。鉴于人类不断增长的能源需求和化石燃料的有限性，这种趋势是不可逆转的。为了开发替代能源，人类已经进行了很多研究，其中大部分是使用电力作为主要能源载体。 随着可再生能源产品和设备受到更多重视，人们的生活也发生了变化，最明显的是电动汽车的普及。尽管 10 年前还很少在道路上见到电动汽车，但如今它的年均售出数量已经达到数百万，成为市场增长最快的行业之一。 与从碳氢化合物燃料的燃
建立微服务的真正道路是事件驱动，这是一个有着DDD, CQRS, Event-sourcing, event streaming, complex-event processing(CEP) 等背景以及丰富JavaEE技术经验的架构师的认识，他经历了从传统整体型monolith到微服务架构之转变，细节技术涉及从容器技术 (Docker, Kubernetes) 到JVM层 (Spring Boot 和 WildFly Swarm)到应用架构(事件, 命令, 流streaming, 原始事件, 聚合, 聚合根, 事务, CQRS, 等等)，他会在六月的Red Hat Summit演讲上详细陈述。 这里他从自主性与权威性的比较角度来谈论微服务为什么应该是事件驱动，原文见：Why Microservices Should Be Event Driven: Autonomy 首先，我们使用微服务是为了构建一个业务敏捷的IT系统，也就是能跟随业务快速变化的IT系统，这样才能保证我们的业务能力始终保持竞争力。而自治系统是能够相互交互提供业务敏捷，包括如果系统发生问题怎么办？系统如何克服问题？提供业务敏捷和失败容错的系统就是自治autonomy。 自治系统能够独立于彼此演进，因为他们本质上是彼此没有依赖的，改变一个服务A不会强迫系统B改变，包括引起任何其他涟漪影响，如果服务A是服务B依赖的，服务A死了，那么服务B也会死期不远。 那么自治性除了微服务以外，其他方面还需要什么？如果你阅读过http://blog.christianposta.com/microservices/the-real-success-story-of-microservices-architectures/，你会知道不是技术让Netflix和亚马逊的微服务获得成功，而是组织系统结构。 与敏捷系统的相同类型的一些例子包括：开源社区、城市、股票市场、蚂蚁群、成群的鸟类和其他的。它们可以进化，响应react环境，甚至持续在面对巨大的失败，事实上，它们都是属于复杂自适应系统的理论研究领域。这些系统之间的共同点是什么？目标，自治性和对环境的反应。自治意味着 对“事件”的“反应react” 。 当有什么事情发生时，自治者（蚂蚁 人或服务）会做某些事或不做某些事，但是总体来说，是这些发生事情的事件驱动了它们的行为，想想你（作为一个独立自主与自治的人）在一天中做的事情：你醒过来，基于温度穿衣服（事件或事实），你开车和去工作（在停车灯停下来（事件），避免驾驶人发生不正常事件等）。这些都是对事件的回应。你会收到收件箱里的电子邮件，你会回应。你会从你妻子提供的文本中挑选一篇关于家庭的晚餐，等等，我们生活在对事件的反应中。建立在事件的IT系统也可以是同样拥有自主性，可扩展性和弹性应对失败。 从权限到自治自主并拥抱最终一致性 在大多数分布式系统实现中，我们倾向于在一个单一地理空间建立跨不可靠网络的系统，这在很多方面都是坏主意，我们倾向于调用远程对象，驱动它们做某些事情，或者我们调用一个远程服务进行数据查找，如果是购物车服务，我们需要计算购物车中所有商品的最终价格以便支付，这样购物车服务会调用计价服务，计价服务也许会调用计税服务以基于价格根据不同洲税调整最终价格，计税服务也许会调用产品目录服务，货运服务也许会调用库存服务等等，最后也许需要经过一长段调用才会结束，我们正在遵循“authority权限”模式进行数据访问，我们调用那些对数据拥有权限的服务，这有点像共享全局状态，它们也有另外一个理由，因为事务性或ACID需要这样整合在一起调用。 这可能会导致瓶颈。如果服务链中的某些服务不可用，它也会导致其他服务挂起以及级联崩溃性故障。它也可能导致一些奇怪的依赖关系，比如库存服务暴露给税务服务的出数据和航运服务使用的数据会不同。或者它公开了一个单一格式的数据，但其中有很多额外的细节是这两个服务都不真正关心的。 如果我们以不同方式来看这个模型？如果我们颠倒这个模型，我们不再依赖和调用那些对数据拥有权限的服务，而是依赖时间和事件（如同我们现实世界一样）重新理解上下文场景和环境。 我们刚刚从周围环境发现从美国到古巴的航运刚刚推出了一个较低的税收，这是一个发生的事实，我们可以观察和反应，或者忽视不做任何事。 如果我们能了解到对运送到古巴的税收现在已经降低了，那么在我们展示购物车页面时，我们就可以捕捉这样的数据以便未来可能的查询，然后我们可以有更多的自主权，我们可以在我们自己的数据库中存储该信息息或该信的衍生物，这将为我们提供的服务类型进行优化。如果我们必须对我们的服务进行版本的修改，我们就可以把重点放在我们自己的架构和数据上，而不必担心更改时其他相关服务会发生什么。 什么是最终一致性？ 响应事件而不是“及时”查询权限系统会让我们更具有自主性，更有容错能力和弹性，
ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。
本节介绍数据在 Snuba 中的组织方式以及面向用户的数据如何映射到底层数据库（如： Clickhouse）。
数据量大尽量避免使用 count(distinct) ，这会导致所有数据在一个 reduce 内去重，导致运行缓慢，使用 group by 来代替
一直以来，生物可降解塑料被宣传为可以解决困扰世界范围内塑料污染问题的最佳方案。但这些所谓的 “可堆肥” 塑料用具，只有在特定条件下才能降解。
ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程
ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程。
本站的友链页面，增加显示了部分站长RSS订阅聚合数据。采用的插件是Lopwon Feed。 但是呢，该插件并不包含缓存功能，以至于每次打开RSS聚合页面时，都会循环访问一遍所有的Feed订阅源。那么，当自己站点添加了大量Feed订阅源后，页面加载会变得异常缓慢。 正好网友荒野孤灯遇到了同样的问题，我就索引度娘了一番，查询如何定时的缓存订阅数据，以减少加载时间。不过查出来的一般都是Redis，TPCache之类的。Redis我熟，是单独的一个类似缓存数据库的东西；而TPCache又是一个插件。我也不想插件套插件了。干脆搜搜网页，弄个最简单的就好了。
猫是我行我素的代表。不像狗一样，听从主人的命令。它不将主人视为君主（反而有可能是仆从），不会唯命是从。猫和主人并不是主从关系，把它们看成平等的朋友关系会更好一些。怎么处理好和猫猫的关系呢，你可能需要一些科学的技巧。
本文共计1611字，预计阅读时长八分钟 Spark总结 一、本质 Spark是一个分布式的计算框架，是下一代的MapReduce，扩展了MR的数据处理流程 二、mapreduce有什么问题 1.调度慢，启动map、reduce太耗时 2.计算慢，每一步都要保存中间结果落磁盘 3.API抽象简单，只有map和reduce两个原语 4.缺乏作业流描述，一项任务需要多轮mr 三、spark解决了什么问题 1.最大化利用内存cache 2.中间结果放内存，加速迭代 3.将结果集放内存，加速后续查询和处理，解决运行慢
令人惊讶的是似乎并不是这样。事实上，CloudFoundry基金会首席执行官Abby Kearns表示，这本身就是PaaS的一个倡议，她同意这个观点。 首先回顾一下，CloudFoundry基金会及其命名的倡议是从哪里开始的。CloudFoundry最初是VMware公司内部的一个项目。VMware公司和其他大型技术供应商一样，经常孵化与其核心业务相关的项目，这些项目是周边的（有时是完全正交的）。CloudFoundry就是其中之一，而且PaaS项目很快得到了一些行业巨头的广泛支持（如IBM和HP）。 回顾
IPv6是最新版本的互联网协议，它的设计目的是为了解决IPv4地址空间有限的问题，IPv4早已无法应对数字生态系统的爆炸性增长。
数据倾斜是我们在处理大数据量问题时绕不过去的问题，也是在面试中几乎必问的考点。 正常的数据分布理论上都是倾斜的，就是我们所说的'二八原理'：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量。 简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。
本文阐述如何解决 Kubernetes 中与 CPU 限制相关的 Java 应用启动缓慢的问题。使用一个新的 Kubernetes 功能，称为“In-place Pod Vertical Scaling”。它允许调整分配给容器的资源（CPU 或内存）大小，而无需重新启动 Pod。 这个新功能从 Kubernetes 1.27 版本开始就可以使用。然而，由于是 alpha 功能，必须明确激活启用。
在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，DocValues是通过牺牲一定的磁盘空间带来的好处主要有两个（即以空间换时间），该特性有以下两个主要优点：
TDengine 是一款开源、高性能、云原生的时序数据库（Time Series Database, TSDB）, 它专为物联网、车联网、工业互联网、金融、IT 运维等场景优化设计，基于C语言开发。
想象一下，你和你的小伙伴正在努力寻找一个完美的餐厅，以便愉快的享用晚餐。我们清楚这个过程可能会花费数小时去争论，你会找到现代生活的便利之处：在线评论。通过在线评论，你找到了自己的选择，推荐 Carlo's 餐厅的男女用户的比例都高于你的小伙伴选择的 Sophia's 餐厅。然而，正当你准备宣布胜利时，你的小伙伴使用相同的数据得到，由于所有用户中推荐选择 Sophia 的百分比较高，因此很明显要选择它。
提供调试动力的主要数据来源是日志记录。参与通话的所有实体都会生成日志。我们有可以分为以下几类的不同类型的日志：
1.简介一下当前这个项目 能够介绍一下你写的项目: 我们这个大数据项目主要是解决了教育行业的一些痛点。 首先，受互联网+概念，疫情影响，在线教育，K12教育等发展火热，越来越多的平台机构涌现。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。 有鉴于此，我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。具体的实现思路是，先建立企业的数据仓库，把分散的业务数据预处理，其次根据业务需求从海量的用户行为数据挖掘分析，定制出多维的数据集合，形成数据集市，供各个场景主题使用，最后用BI工具，进行前端展示。 用到的技术架构包括：mysql，sqoop，基于CM的Hive，Oozie和FineBi。由于OLTP系统中数据大多存储在mysql，所以我们最终选择Sqoop作为导入导出工具，抽取数据到数仓，并使用基于CM管理的Hive进行数据清洗＋分析，然后sqoop导出到mysql，最后用FineBI展示OLAP的数据分析结果。 所以，我们的技术解决了企业的三大痛点。一是数据量太大问题，传统数据库无法满足；二是系统多，数据分散问题，无法解决数据孤岛问题；三是，统计工作量太大，分析难度高问题，无法及时为企业提供数据参考。
技术雷达是ThoughtWorks每半年发布一期的技术趋势报告，它不仅是一份持续的技术成熟度评估，其产生还源于ThoughtWorks另一个更大宏大的使命—IT革命。我们一直深信，IT行业从定位、价值、实践和技术都会发生巨大的变革。然而任何宏观的变革，都会有一些微小的信号，我们需要持续关注这些微小的改变，这也就是技术雷达的由来。
这个开源项目是：Logan ，它是美团点评集团推出的大前端日志系统。名称是 Log 和 An 的组合，代表个体日志服务，同时也是金刚狼大叔的大名。
几年之前，曾不自量力的想要写一个兼容RDBMS和NoSQL的数据库，结果仅实现了一个Raft协议，写了一棵BTree，就放弃了。使用Golang写这个算是比较简单的了，但过程难以言诉，有点蚂蚁撼大树了。
我们将为你介绍性能提升的下一阶段——Tungsten。在2014年，我们目睹了Spark缔造大规模排序的新世界纪录，同时也看到了Spark整个引擎的大幅度提升——从Python到SQL再到机器学习。 Tungsten项目将是Spark自诞生以来内核级别的最大改动，以大幅度提升Spark应用程序的内存和CPU利用率为目标，旨在最大程度上压榨新时代硬件性能。Project Tungsten包括了3个方面的努力： Memory Management和Binary Processing：利用应用的语义（appl
今天的数据驱动型企业不仅需要针对实时数据作出快速响应要，而且还必须执行复杂的查询以解决复杂的业务问题。 例如，客户个性化系统需要将历史数据集与实时数据流结合起来，以便立即向客户提供最相关的产品建议。提供关键任务的实时业务观察能力的运营分析系统也必须如此，例如，在线支付供应商需要监测其全球范围内的交易，以发现可能预示金融欺诈的异常情况。 或者想象一个网上学习平台需要为学区客户和内部客户团队提供关于学生和教师使用情况的最新洞察力。或者是一个市场新闻供应商，需要监测并确保其金融客户在狭窄的窗口内获得准确的、相关的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
