MergeTree是ClickHouse的一个重要存储引擎，其工作原理和基本原则如下：
流式：就是数据源源不断的流进来，也就是数据没有边界，但是我们计算的时候必须在一个有边界的范围内进行，所以这里面就有一个问题，边界怎么确定？无非就两种方式，根据时间段或者数据量进行确定，根据时间段就是每隔多长时间就划分一个边界，根据数据量就是每来多少条数据划分一个边界，Flink 中就是这么划分边界的，本文会详细讲解。
流式：就是数据源源不断的流进来，也就是数据没有边界，但是我们计算的时候必须在一个有边界的范围内进行，所以这里面就有一个问题，边界怎么确定？ 无非就两种方式，根据时间段或者数据量进行确定，根据时间段就是每隔多长时间就划分一个边界，根据数据量就是每来多少条数据划分一个边界，Flink 中就是这么划分边界的，本文会详细讲解。
我们分析上面的示例，其实比较的就是下一个区间起始值是否在上一个区间的范围内，依次比较，直到匹配失败，就把这个已经匹配过的最小值和最大值放入一个新的区间。
硬盘中一般会有多个盘片组成，每个盘片包含两个面，每个盘面都对应地有一个读/写磁头。受到硬盘整体体积和生产成本的限制，盘片数量都受到限制，一般都在5片以内。盘片的编号自下向上从0开始，如最下边的盘片有0面和1面，再上一个盘片就编号为2面和3面。
参考博文： http://blog.51cto.com/9291927/1791237
对于Linux软件开发人员肯定已经非常熟悉Linux系统的目录结构。文件系统可以根据它们的结构而变化，但在大多数情况下，它们应该符合文件系统层次标准。执行ls -l /命令查看根目录下列出的目录，你的目录可能与我的目录有些许的不同，但目录应该大致如下所示:
基于功能连接组(FC)来独特描述个体特征的能力是迈向精确精神病学的关键要求。为此，神经成像界对FC指纹进行了越来越多的研究，开发了多种有效的FC指纹识别方法。最近的独立研究表明，在大样本尺寸和较粗的分区用于计算FC时，指纹识别的精度会受到影响。量化这一问题，了解这些因素影响指纹准确性的原因，对于开发更准确的大样本量指纹提取方法至关重要。指纹识别的部分挑战在于，FC既能捕捉通用信息，也能捕捉特定个体的信息。一种识别特定个体FC信息的系统方法对于解决指纹问题至关重要。在本研究中，我们解决了我们对FC指纹识别问题的理解中的三个空白。首先，我们研究了样本量和分区粒度的联合效应。其次，我们解释了随着样本量的增加和分区粒度的减小，指纹识别精度降低的原因。为此，我们使用了来自数据挖掘社区的聚类质量指标。第三，我们开发了一个通用的特征选择框架，用于系统地识别静止状态功能连接(RSFC)元素，该元素捕获信息，以唯一地识别主体。综上所述，我们从这个框架中评估了六种不同的方法，通过量化受试者特定指纹的准确性和随着样本量增加而降低的准确性，以确定哪种方法对质量指标的改善最大。
在组件开发迭代的过程中，随着使用时间的增加，数据库中的数据量也不断增加，因此数据库查询越来越慢。
就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数10个物理分区对象组成，每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理。
GeoSpark是一个用于处理大规模空间数据的开源内存集群计算系统。是传统GIS与Spark的结合。GeoSpark由三层组成:Apache Spark层、Spatial RDD层和空间查询处理层。
分区是根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库应用而言，逻辑上就只有一个表或者一个索引，但实际上这个表可能有N个物理分区对象组成，每个分区都是一个独立的对象，可以独立处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。
在展示染色体信息时，如果想要重点展示其中某一段区域的信息，可以借助zooms来实现。zooms起到一个伸缩的功能，将原本的区域放大或者缩小。
在现实的产品设计场景中，我们经常会遇到多个设计方案的选择。例如，App或网页端某个页面的某个按钮的颜色是用蓝色还是红色，是放在左边还是右边？传统的解决方案通常是集体表决或由某位Leader拍板，类似的选择还有很多，从概率上很难保证传统的选择策略每次都是有效的，而ABTest显然是一种更加科学的方法。
作者：bobyzhang，腾讯 IEG 运营开发工程师 0. 故事的开始 0.1 为什么和做什么 最近家里买了对音响，我需要一个数字播放器。一凡研究后我看上了 volumio（https://volumio.org/） 这是一个基于 Debian 二次开发的 HIFI 播放器系统，可以运行下 x86 和树莓派上。 我打算让 volumio 运行在我 2009 年购买的老爷机笔记本上，也让它发挥一点余温热。正常操作是将 volumio 的系统镜像刷到 U 盘上，连接电脑后使用 U 盘启动系统即可。但是家
对于某些场景来说可能是必要的，但可能并不适合所有场景。因此我们首先看看为什么当并发写入Hudi 或任何表格式时我们需要锁提供程序。如果两个并发写入修改同一组数据，我们只能允许其中一个成功并中止另一个，因为至少与乐观并发控制（OCC）存在冲突。我们可以尝试设计和实现基于 MVCC 的模型，但当前还没有做到这一点。因此仅使用纯 OCC，任何两个并发写入重叠数据都无法成功。因此为了解决冲突和某些表管理服务，我们需要锁，因为在任何时间点只有其中一个可以操作临界区。因此我们采用锁提供程序来确保两个写入之间协调此类冲突解决和表管理服务。总结如下
Kudu是为Apache Hadoop平台开发的列式数据库。Kudu拥有Hadoop生态系统应用程序的常见技术属性：它可以商用硬件上运行，可横向扩展，并支持高可用性操作。
InfluxDB 3.0（以前称为 InfluxDB IOx）是一个（云）可扩展数据库，为数据加载和查询提供高性能，并专注于时间序列用例。本文介绍了数据库的系统架构。
基于美学的图像裁剪（aesthetic image cropping）的目标是在一张图片中找到具有最高美学评价的子图。
大约一年前，我在一致性模型上写了这篇文章的第一个版本，但我从来没有对它感到满意，因为它写得很匆忙，而且这个主题足够重要，需要得到更彻底的处理。ACM Queue要求我修改它以便在他们的杂志中使用，我利用这个机会改进了这篇文章。这是那个新版本。
在儿童时期，支持高级认知过程的神经系统经历了快速生长和完善，这依赖于整个大脑激活的成功协调。一些协调是通过皮质中枢发生的，皮质中枢是与其他功能网络共同激活的大脑区域。成人皮层中枢有三种不同的特征，但在认知发生关键改善的发育过程中，人们对中枢的类别知之甚少。我们在大型青年样本(n = 567，年龄8.5-17.2)中确定了四个不同的中枢类别，每个类别都表现出比成年人更多样化的连接概况。整合控制-感觉处理的青少年中枢分为两个不同的类别(视觉控制和听觉/运动控制)，而成人中枢则统一在一个类别下。这种分裂表明，在功能网络经历快速发展的同时，需要隔离感觉刺激。青少年控制处理中枢的功能协同激活强度与任务表现有关，这表明在将感觉信息传递到大脑控制系统和从大脑控制系统传递信息方面起着特殊作用。
一开始，很容易想到用双指针去定位两个相同字符的最远区间，然后使用重叠区间合并的思维去得到最终片段。大方向双指针思路是对的，不过没有优化，所以复杂度较高，但能AC
Flink 的算子函数和spark的大致一样，但是由于其是流处理的模式，所有还要有需要加强理解的地方
所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。
近年来，利用静息状态功能性MRI对人类连接组(即人类大脑中的所有连接)的研究迅速普及，特别是随着大规模神经成像数据集的日益可用性。这篇综述文章的目的是描述自2013年神经影像特刊《连接组图谱》以来，功能连接组表征在过去8年里出现的创新。在这一时期，研究已从群体层面的大脑分区化转向个性化连接组的表征以及个体连接组差异与行为/临床变异之间的关系。在分区边界中实现特定个体的准确性，同时保持跨个体通信是一项挑战，目前正在开发各种不同的方法来应对这一挑战，包括改进的对齐、改进的降噪和稳健的群体到个体映射方法。除了对个性化连接组的兴趣之外，人们正在研究数据的新表示，以补充传统的分区连接组表示(即，不同大脑区域之间的成对连接)，例如捕捉重叠和平滑变化的连接模式(梯度)的方法。这些不同的连接组表征为大脑固有的功能组织提供了有益的见解，但功能连接组的研究仍然面临挑战。未来的研究将进一步提高可解释性，以深入了解功能MRI所获得的连接组观察的神经机制。还需要进行比较不同连接组表征的验证研究，以建立共识和信心，继续进行临床试验，这些临床试验可能产生有意义的连接组研究转化。
论文: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
摘要：大脑组织的一个关键原则是将大脑区域的功能整合成相互关联的网络。在休息时获得的功能MRI扫描通过自发活动中的相干波动模式，即所谓的功能连接，提供了对功能整合的见解。这些模式已被深入研究，并与认知和疾病有关。然而，这个领域是细分的。不同的分析方法将对大脑进行不同划分，限制了研究结果的复制和临床转化。这种划分的主要来源是将复杂的大脑数据简化为用于分析和解释的低维特征集的方法，这就是我们所说的大脑表征。在本文中，我们提供了不同大脑表征的概述，列出了导致该领域细分和继续形成汇聚障碍的挑战，并提出了统一该领域的具体指导方针。 1.简述 静息态MRI的研究领域是分级的，关于预处理流程、脑分区方法、后处理分析方法和端点都存在争议。这个问题的主要来源是脑表征的挑战。磁共振产生大量的高维数据，一个主要的分析任务是从测得的脑活动的巨大的复杂度中提取可解释的内容。此处我们用“脑表征”来描述这个降维过程。脑表征是一个采集的MRI数据的多层面描述，包括脑单元的空间定义（分区）和在脑单元水平提取可解释特征的总体测度（如配对相关）。如何表征脑数据从根本上奠定了脑功能和组织的描述。 脑的表征经常被考虑为映射问题，旨在消除功能和神经组织的神经解剖不同区域的边界。然而，脑表征包括了表征形式以及数据如何转化成这些表征。本文旨在为该领域的一致性和可重复性提供一个rfMRI表征挑战的入门。 2.脑表征入门 脑表征可以将采集得到的BOLD数据减少为一组特征进行分析。许多脑表征识别：1）一组低维脑单元（空间分区）2）应用在脑单元水平的一组测度组合（配对相关）。这些特征用于后面的统计或预测分析。用“脑单元”来指代任意空间上定义的神经实体，可以被当作一个基础的功能处理单元。“测度组合”作为计算特征的方法，相对于脑单元定义。组合测度用来回答研究问题，因此是相对“特定领域”的。一小部分脑表征不用脑单元和组合测度，而用估计特征，可以代表活动的复杂的时空模式。 2.1定义一个脑单元 rfMRI空间分辨率轻松可达2x2x2mm³，这会在全脑得到约100000体素。rfMRI中,这些体素（或顶点）是最小的可测脑单元。然而其并不代表具体的神经解剖层级水平。因此会将体素或顶点单元组合成更小的脑单元集合来实现有意义的低等级脑表征。 脑单元可能在空间上相邻或不相邻。相邻脑单元与功能具体皮层区域一致（图1a），不相邻脑单元可以捕捉层级组织的和大的半球对称脑的复杂网络结构（图1b）。脑单元可以是二值化（一个体素或顶点被分配到一个单元）的或加权的（体素或顶点根据其权重对多个单元有贡献）。 很多方法可以来定义脑单元。明显的选择是根据基于组织学、病变、褶皱或其他特征定义的图集的分区。但这些图集源于小部分人，且解剖上定义的边界与功能组织不一定匹配。很多方法用功能数据来定义分区，包括ICA,PCA，非负矩阵分解，概率功能模块或字典学习。这种分区依赖于自发BOLD波动，限制了其适用性。用解构、静息、任务结合的多模态方法可能提供广泛性更好的分区。
互联网产品中存在很多种类的数据，不同种类的数据对于存储系统的一致性，可用性，扩展性的要求是不同的。比如，金融、账号相关的数据对一致性要求比较高，社交类数据例如点赞对可用性要求比较高。还有一些大规模元数据存储场景，例如对象存储的索引层数据，对一致性，扩展性和可用性要求都比较高，这就需要底层存储系统在能够保证数据强一致的同时，也具有良好的扩展性。在数据模型上，有些数据比如关系，KV 模型足够用；有些数据比如钱包、账号可能又需要更丰富的数据模型，比如表格。
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。
创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。
Swin Transformer发表于ICCV 2021，获得最佳论文，其作者都来自微软亚洲研究院。
给出一个数组，问最多有多少个不重叠的非空区间，使得每个区间内的数字的xor都等于0。
在 MySQL 中， InnoDB存储引擎长期以来一直支持表空间的概念。在 MySQL 8.0 中，同一个分区表的所有分区必须使用相同的存储引擎。但是，也可以为同一 MySQL 服务器甚至同一数据库中的不同分区表使用不同的存储引擎。
Apache Kudu is an open source distributed data storage engine that makes fast analytics on fast and changing data easy.
1.新装系统后 需要设置su密码： 方法 sudo passwd 提示“Enter new UNIX password” 退出root：su 用户名
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日，FTS进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。
Flink是一个有状态的流式计算引擎，所以会将中间计算结果(状态)进行保存，默认保存到TaskManager的堆内存中，但是当task挂掉，那么这个task所对应的状态都会被清空，造成了数据丢失，无法保证结果的正确性，哪怕想要得到正确结果，所有数据都要重新计算一遍，效率很低。想要保证 At -least-once 和 Exactly-once，需要把数据状态持久化到更安全的存储介质中，Flink提供了堆内内存、堆外内存、HDFS、RocksDB等存储介质。
在实际的生产环境中，使用单用户模式直接运行命令的机会不是很多，通常是采用提交作业任务给集群计算的方式。这样一来既能节约资源和时间，又能申请到更大规模的计算资源，对于平台管理人员还是用户来说都是非常有利的。国家超算中心，地方超算中心，学校超算中心一般都对外提供这样的服务，不过需要按核时进行计费。所谓“核时”就是一个 CPU 核运行一个小时，这也是高性能计算中通常使用的资源衡量单位。作为超算中心或者高性能集群，必不可缺的就是集群作业管理系统，它可以根据用户的需求，统一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群资源，提高系统利用率和吞吐率。
空间数据模型可以分为三种： 场模型：用于描述空间中连续分布的现象； 要素模型：用于描述各种空间地物； 网络模型：可以模拟现实世界中的各种网络；
翻译Flink官网关于flink运行架构及编程模型的内容，本文的图片来自flink官网。计划今年下半年将flink应用到生产环境，最近在进行flink的学习，会翻译官方文档的部分内容
最近需要对Windows中的设备进行编程操作，其中涉及到非常重要的函数DeviceIoControl，在使用的时候也比较的复杂，国内这一块中文资料比较少，在学习之余顺便将其翻译出来，以供参考，如有错误，欢迎指正。lcb0281@163点com
作者 | BBuf 单位 | 北京鼎汉技术有限公司 算法工程师(CV) 编辑 | 唐里
Apache Hudi除了支持insert和upsert外，还支持bulk_insert操作将数据摄入Hudi表，对于bulk_insert操作有不同的使用模式，本篇博客将阐述bulk_insert不同的模式以及与其他操作的比较。
total(内存总数)、used(已使用的内存数)、free(空闲内存数)、buffers(缓冲使用数)、cache(缓存使用数)、swap(交换分区使用数)
像MongoDB, Cassandra, HBase, DynamoDB, 和 Riak这些NoSQL缺乏传统的原子事务机制，所谓原子事务机制是可以保证一系列写操作要么全部完成，要么全部不会完成，不会发生只完成一系列中一两个写操作；因为数据库不提供这种事务机制支持，开发者需要自己编写代码来确保一系列写操作的事务机制，比较复杂和测试。 这些NoSQL数据库不提供事务机制原因在于其分布式特点，一系列写操作中访问的数据可能位于不同的分区服务器，这样的事务就变成分布式事务，在分布式事务中实现原子性需要彼此协调，而协调是耗费时间的，每台机器在一个大事务过程中必须依次确认，这就需要一种协议确保一个事务中没有任何一台机器写操作失败。 这种协调是昂贵的，会增加延迟时间，关键问题是，当协调没有完成时，其他操作是不能读取事务中写操作结果的，这是因为事务的all-or-nothing原理导致，万一协调过程发现某个写操作不能完成，那么需要将其他写操作成功的进行回滚。针对分布式事务的分布式协调对整体数据库性能有严重影响，不只是吞吐量还包括延迟时间，这样大部分NoSQL数据库因为性能问题就选择不提供分布式事务。 MongoDB, Riak, HBase, 和 Cassandra提供基于单一键的事务，这是因为所有信息都和一个键key有关，这个键是存储在单个服务器上，这样基于单键的事务不会带来复杂的分布式协调。 那么看来扩展性性能和分布式事务是一对矛盾，总要有取舍？实际上是不完全是，现在完全有可能提供高扩展的性能同时提供分布式原子事务。 FIT是这样一个在分布式系统提供原子事务的策略，在fairness公平性, isolation隔离性, 和throughput吞吐量（简称FIT）可以权衡。 一个支持分布式事务的可伸缩分布式系统能够完成这三个属性中两个，公平是事务之间不会相互影响造成延迟；隔离性提供一种幻觉好像整个数据库只有它自己一个事务，隔离性保证当任何同时发生的事务发生冲突时，能够保证彼此能看到彼此的写操作结果，因此减轻了程序员为避免事务读写冲突的强逻辑推理要求；吞吐量是指每单元时间数据库能够并发处理多少事务。 FIT是如下进行权衡： 1.保证公平性fairness 和隔离性isolation, 但是牺牲吞吐量 2.保证公平性fairness和吞吐量, 牺牲隔离性isolation 3.保证隔离性isolation和吞吐量throughput, 但是牺牲公平性fairness. 牺牲公平性：放弃公平性，数据库能有更多机会降低分布式事务的成本，主要成本是分布式协调带来的，也就是说，不需要在每个事务过程内对每个机器都依次确认事务完成，这样排队式的确认commit事务是很浪费时间的，放弃公平性，意味着可以在事务外面进行协调，这样就只是增加了协调时间，不会增加互相冲突事务因为彼此冲突而不能运行所耽搁的时间，当系统不需要公平性时，需要根据事务的优先级或延迟等标准进行指定先后执行顺序，这样就能够获得很好的吞吐量。 G-Store是一种放弃公平性的 Isolation-Throughput 的分布式key-value存储，支持多键事务(multi-key transactions)，MongoDB 和 HBase在键key在同样分区上也支持多键事务，但是不支持跨分区的事务。 总之：传统分布式事务性能不佳的原因是确保原子性（分布式协调）和隔离性同时重叠，创建一个高吞吐量分布式事务的关键是分离这两种关注，这种分离原子性和隔离性的视角将导致两种类型的系统，第一种选择是弱隔离性能让冲突事务并行执行和确认提交；第二个选择重新排序原子性和隔离性机制保证它们不会某个时间重叠，这是一种放弃公平的事务执行，所谓放弃公平就是不再同时照顾原子性和隔离性了，有所倾斜，放弃高标准道德要求就会带来高自由高效率。
图像压缩技术旨在将图像转换为紧凑的表示，以节省传输和存储资源。有损图像压缩是最实用的技术之一，因为它可以恢复重要内容，同时丢弃少量不重要的信息。在过去的几十年里，传统的图像压缩标准得到了广泛的研究和利用。随着深度学习的快速发展，基于深度学习的图像编解码器迅速发展并取得了很好的结果。与此同时，越来越多的多媒体内容倾向于被机器视觉算法处理，如识别、检测和分割。然而，大多数压缩方法主要用于压缩图像以供人类消费，而没有考虑对下游任务或人机交互场景的支持。
近日，鹅厂数据库工程师参加了国际顶级数据库会议2019 ICDE，特为没去到现场的小伙伴带来本次大会最新前沿资讯。在2019的ICDE会议上有很多热门分享，包括工业界成果，学术界最新的研究前沿等，我们萃取了ICDE精华以飨读者，分享技术，一起共同成长。下面请跟随鹅厂高级工程师孙旭的脚步，带你走进本次盛典。 数据库与新硬件 这次会议部分Topic是和新硬件相关。我主要听取了在GPU里面实现Hash Join算法，以及在FPGA中实现压缩算法。对应的相关论文：《Revisiting Hash Join on
Linux的分区是物理上的概念，从物理上将存储空间分开；Linux的目录是逻辑上的概念，Linux的目录树实际上是一个分区之间的数据逻辑结构关系，不是物理结构；一个分区必须挂载在一个目录下才能使用，分区可以挂载到任何目录；
大脑的结构连通性通常是通过将其观察减少到单一的空间分辨率来研究的。然而，大脑拥有一个组织在多个尺度上彼此连接丰富的架构。我们利用五种不同分辨率重建的健康受试者数据集探索了人类连接组的多尺度组织。我们发现，当观察的分辨率随着解剖区域的分级粗粒化而逐渐降低时，人类大脑的结构仍然是自相似的。引人注目的是，一个距离不是欧几里德的几何网络模型预测了连接组的多尺度特性，包括自相似性。该模型依赖于几何重正化(GR)协议的应用，该协议通过粗粒度和在短的相似距离上平均来降低分辨率。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
