blocks|key|7pbtt|text|这种问题通常有两个原因：|type|header-three|depth|inlineStyleRanges|entityRanges|data|8nno5|本次+FE+启动时获取到的本机+IP+和上次启动不一致，通常是因为没有正确设置+priority_network+而导致+FE+启动时匹配到了错误的+IP+地址。需修改+priority_network+后重启+FE。|ordered-list-item|offset|length|style|CODE|8j2oo|集群内多数+Follower+FE+节点未启动。例如有3个+Follower，只启动了一个。此时需要将另外至少一个+FE+也启动，FE+可选举组方能选举出+Master+已提供服务。|entityMap^0|0|14|G|2D|G|0^^$0|@$1|2|3|4|5|6|7|L|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|M|8|@$E|N|F|O|G|H]|$E|P|F|Q|G|H]]|9|@]|A|$]]|$1|I|3|J|5|D|7|R|8|@]|9|@]|A|$]]]|K|$]]

FE启动失败，fe.log 中一直滚动 "wait catalog to be ready. FE type UNKNOWN"

entityMap|0|type|IMAGE|mutability|IMMUTABLE|data|imageUrl|https://qcloudimg.tencent-cloud.cn/raw/484cf1ddf97c0c954752d5f00fa00d52.png|imageAlt|1|https://qcloudimg.tencent-cloud.cn/raw/0584e0d78183e9db64bfac226020ba4a.png|2|https://qcloudimg.tencent-cloud.cn/raw/838848d406e30d20535366f25d78dc71.png|3|https://qcloudimg.tencent-cloud.cn/raw/826796d2f53bb0dd4d85538179f20cc8.png|blocks|key|236vo|text|云数据仓库+for+Apache+Doris的产品功能有哪些？|header-one|depth|inlineStyleRanges|entityRanges|4il7l|MySQL+协议兼容|header-two|a710e|Doris+提供兼容+MySQL+协议的连接接口，用户不必再单独部署新的客户端库或者工具，可以直接使用+MySQL+的相关库或者工具。|unstyled|4t6gr|大查询高吞吐|e46vo|利用+MPP+架构的优势，使得查询能够分布式的在多个节点并行执行，充分利用集群整体计算资源，提高大查询的吞吐能力。|e385|高并发小查询|6j5b7|通过使用分区裁剪，预聚合，谓词下推，向量化执行，异步+RPC+等技术，Doris+可以支持高并发点查询场景。100台集群可达10w+QPS。|84grp|支持数据更新和删除|87al2|Doris+支持按主键删除和更新数据。能够方便的从+MySQL+等事务数据库中同步实时更新的数据。|75k51|高可用和高可靠|efqo7|Doris+中的数据和元数据都默认使用3副本存储。在少数节点宕机的情况下，依然可以保证数据的可靠性。Doris+会自动检查和修复损坏的数据，并将请求自动路由到健康的节点，7*24+小时保证数据的可用性。|dng8h|水平扩展和数据均衡|3th7o|FE+节点和+BE+节点都可以进行横向扩展。用户可以根据计算和存储需要，灵活的对节点进行扩展。其中+BE+节点在扩展后，Doris+会自动根据节点间的负载情况，进行数据分片的自动均衡，无需人工干预。|c3ue2|物化视图和预聚合引擎|7438n|Doris++支持通过物化视图或上卷表的形式对数据预聚合计算后的结果进行存储，从而加速部分聚合类场景的查询效率。同时，Doris++能够保证物化视图和基础表之间的数据一致性，从而使得物化视图会查询和导入完全透明。Doris++内部会自动根据用户的查询语句，选择合适的物化视图进行数据摄取。|3b8fe|丰富的数据导入功能和导入事务保证|2lsu4|Doris+支持多种导入方式。不仅支持近实时的流式导入，也支持大批量的数据导入。同时还可以直接订阅和消费+kafka+中的数据。Doris+自身提供导入事务支持，配合导入+Label+机制，可以保证导入数据的不重不丢和原子一致性。|9iq5h|高效的列式存储引擎和一级二级索引|1jpvt|Doris++采用自研的列式存储格式。存储采用字典、RLE++等多种编码方式，配合列式存储的特点，提供了非常高的数据压缩比，帮助用户节省存储空间。同时，存储格式上提供包括+Min/Max++智能索引、稀疏索引、布隆过滤器、bitmap+倒排索引等多种查询加速技术，进一步提升了查询效率。|7e1mr|在线表结构修改能力|75ght|支持在已导入数据的情况下修改表结构，包括增加列、删除列、修改列类型和改变列顺序等操作。变更操作不会影响当前数据+库的查询和写入操作。|71b94|生态支持和周边组件的兼容能力|541lq|Doris++可以方便的导入存储在对象存储、HDFS+或+Kafka+中的数据，也可以通过+Flink，Spark+直接将+ETL+后的数据写入+Doris++中。用户也可以通过+Spark+来直接查询+Doris+中存储的数据。而+Doris+也可以通过+ODBC+读取包括++MySQL、PostgreSQL、SQLServer、Oracle+等外部数据源的数据。同时，Doris+也可以读取+Elasticsearch++中存储的数据，为+Elasticsearch+提供强大的分布式+SQL+查询层。|2f0p6|云数据仓库+for+Apache+Doris有什么产品优势？+|bjvg2|云上托管|965t7|云数据仓库++for+Apache+Doris+有通过与云上虚拟主机、云盘、对象存储、云上+MySQL++实例等无缝集成，实现了云原生数仓具有的弹性、扩展性和安全、高可用、高可靠保障。例如，可以将数据存储在云盘和对象存储系统，可以将元数据存储在云上++MySQL+实例。|691ai|运维监控|dktri|云数据仓库+for++Apache+Doris++有完善的集群管理功能，可以省去繁重的人工运维工作，通过在控制台的操作，即可实现几乎所有的运维操作，包括集群扩缩容、升降变配、参数配置等。另外云数据仓库++for+Apache+Doris+提供可视化监控功能，可以查看集群运行情况，帮助业务及时感知集群运行状态。|1kmgr|安全可靠|902gd|用户可对云数据仓库+Doris+集群进行独立部署，支持+VPC+私有网络隔离，提升数据访问信息安全能力。支持数据副本机制，实现用户无感的服务容灾转移和故障恢复。|5jlfi|MySQL+协议兼容|cmgsm|Doris+提供兼容+MySQL+协议的连接接口，用户无需单独部署新的客户端库或者工具，可直接使用+MySQL+的相关库或者工具。提供了+MySQL+接口，可便捷的与上层应用兼容。用户学习曲线降低，方便用户上手使用。|3p2nf|aj3sm|利用+MPP+架构的优势，使得查询能够分布式的在多个节点并行执行，充分利用集群整体计算资源，提高大查询的吞吐能力。|5tmm0|e1v4v|通过使用分区裁剪、预聚合、谓词下推、向量化执行、异步+RPC+等技术，Doris+可以支持高并发点查询场景。|bq40v|数据更新|at1pq|Doris+支持按主键删除和更新数据。能够方便的从+MySQL+等事务数据库中同步实时更新的数据。|8snkt|e8t28|Doris+中的数据和元数据都默认使用3副本存储（BE+节点需大于等于3）。在少数节点宕机的情况下，依然可以保证数据的可靠性。Doris+会自动检查和修复损坏的数据，并将查询请求自动路由到健康的节点，7×24小时保证数据的可用性。|6d4gk|ast7k|FE+节点和+BE+节点都可以进行横向扩展。用户可以根据计算和存储需要，灵活的对节点进行扩展。其中+BE+节点在扩展后，Doris+会自动根据节点间的负载情况，进行数据分片的自动均衡，无需人工干预。|5ot54|fae9r|Doris++支持通过物化视图或上卷表的形式对数据预聚合计算后的结果进行存储，从而加速部分聚合类场景的查询效率。同时，Doris++能够保证物化视图和基础表之间的数据一致性，从而使得物化视图会查询和导入完全透明。Doris++内部会自动根据用户的查询语句，选择合适的物化视图进行数据摄取。|5sscv|高效的列式存储引擎|ao0va|Doris++采用自研的列式存储格式来提升+OLAP+领域的查询效率。存储采用字典编码、RLE++等多种编码方式，配合列式存储的特点，提供了非常高的数据压缩比，帮助用户节省存储空间。同时，存储格式上提供包括+Min/Max++智能索引、稀疏索引、布隆过滤器、bitmap+倒排索引等多种查询加速技术，进一步提升了查询效率。|cg72|在线表结构修改|ph6p|支持在已导入数据的情况下修改表结构，包括增加列、删除列、修改列类型和改变列顺序等操作。变更操作不会影响当前数据库的查询和写入操作。|ahprp|云数据仓库+for+Apache+Doris用什么应用场景？|9kiem|OLAP+多维分析和报表——高维表上的高速随意探查能力|ct163|在关系数据库中，多维分析定义的对数据立方体（CUBE）上进行的钻取、上卷、切片、切块、旋转等操作是通过维度建模实现的。
维度建模最常见的模型是星型模型和雪花模型。
维度建模中，一个表中的列可以分为维度列和指标列，Doris+支持在建表的时候定义出维度列和指标列，如下图所示。
|1kkb3|📷|atomic|offset|length|171eu|
指标列上可以定义函数，Doris+可以做到在数据导入的时候，数据按照维度列进行分类，再按照指标列指定的函数进行聚合。这种预聚合能力大大减少了查询所扫描的数据量，从而加速了聚合查询的速度。
另外，Doris+还实现了物化视图、Rollup+索引和+CUBE+的语法，其中的+Rollup+对应上卷操作、通过+Grouping+Set+语法可以建出+CUBE+立方体来。|7qi99|实时数仓和数据分析——PB+级数据量上的实时增、删、改、查能力|43b36|下图展示的是一个+Doris+的建表语句，从这个语句中可以看出，数据可以分区（Partition），也可以分桶+（DISTRIBUTED+BY），通过分区和分桶，Doris+可以将一个表+(Table)+的数据拆分成多个+Tablet。
|16mi0|1s0iq|
Doris+中每个+Tablet+可以设置多个副本，这些+Tablet+及其副本可以存储在不同的+BE+中，从而保证数据的高可用和高可靠。|2t8bf|物理上，Tablet+会按照一定大小（256M）拆分为多个+Segment+文件，Segment+是列存的+LSM-Tree+全称是Log++Structured+Merge+Tree，是一种分层，有序，面向磁盘的数据结构。这种结构的理论基础是磁盘批量的顺序写要远比随机写性能高。|3brrq|作为对实时数仓和数据分析的支持，数据的实时写入是非常关键的一个环节，为了实现数据的实时写入，Doris+开发了+Stream+Load+实现了数据的实时写入能力。|1a3dc|在此基础上，又提供了三种常用的实时导入功能：也即通过内置的+Canal+客户端实时获取+MySQL+的+binlog；通过+Doris++Flink+Connector+对接+Flink+的+CDC+能力实现数据的精确导入；+通过内置的+Kafka+客户端订阅+Kafka+的++Topic，+从而实现数据的实时更新。
|4t28p|d2mek|高并发场景——高并发下低延迟查询能力|bc8sr|Doris+拥有一个现代的MPP查询引擎，这个引擎完整实现了+Exchange+节点。有了+Exchange+节点，查询就能被分解到各个节点进行并行数据处理。
同时+Doris+由于FE和BE能很容易横向扩展，理论上就能应对并发增加的情况，从而满足高并发场景。|1cace|Doris+提供了丰富的索引结构来帮助加速数据的读取和过滤。索引的类型大体可以分为智能索引和二级索引两种。|8aepv|其中智能索引是在+Doris+数据写入时自动生成的，无需用户干预。而二级索引是用户可以选择性的在某些列上添加的辅助索引。|99ev1|智能索引包括前缀稀疏索引和MinMax索引两种。
前缀稀疏索引是建立在排序结构上的一种索引。Doris+存储在文件中的数据，是按照排序列有序存储的，Doris+会在排序数据上，每+1024+行创建一个稀疏索引项。|7520g|索引的+Key+即当前这1024行中，第一行的前缀排序列的值。当用户的查询条件包含这些排序列时，我们可以通过前缀稀疏索引快速的定位到起始行。
另外，Doris+也实现了动态分区裁剪和谓词下推技术，这些技术都能有效的降低最终从磁盘+scan+的数据量，从而加快查询的执行。|5j0l4|大数据和数据库统一分析——Hadoop+生态兼容和外表高性能查询能力|fgvds|Doris+不依赖+Hadoop+组件，但是+Doris+本身对+Hadoop+生态进行了全面的支持。除了可以通过+Flink，+Spark+写入+Doris+，我们还可以导入+HDFS+的数据，也可以通过建立+Hive+外表，直接查询+Hive+数据。
下图是+Doris+对+Hadoop+生态支持的一个全景图。
|ci6to|2eko5^0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|1|0|0|0|0|0|0|1|1|0|0|0|0|0|0|1|2|0|0|0|0|0|0|0|0|0|0|1|3|0^^$0|$1|$2|3|4|5|6|$7|8|9|-4]]|A|$2|3|4|5|6|$7|B|9|-4]]|C|$2|3|4|5|6|$7|D|9|-4]]|E|$2|3|4|5|6|$7|F|9|-4]]]|G|@$H|I|J|K|2|L|M|4H|N|@]|O|@]|6|$]]|$H|P|J|Q|2|R|M|4I|N|@]|O|@]|6|$]]|$H|S|J|T|2|U|M|4J|N|@]|O|@]|6|$]]|$H|V|J|W|2|R|M|4K|N|@]|O|@]|6|$]]|$H|X|J|Y|2|U|M|4L|N|@]|O|@]|6|$]]|$H|Z|J|10|2|R|M|4M|N|@]|O|@]|6|$]]|$H|11|J|12|2|U|M|4N|N|@]|O|@]|6|$]]|$H|13|J|14|2|R|M|4O|N|@]|O|@]|6|$]]|$H|15|J|16|2|U|M|4P|N|@]|O|@]|6|$]]|$H|17|J|18|2|R|M|4Q|N|@]|O|@]|6|$]]|$H|19|J|1A|2|U|M|4R|N|@]|O|@]|6|$]]|$H|1B|J|1C|2|R|M|4S|N|@]|O|@]|6|$]]|$H|1D|J|1E|2|U|M|4T|N|@]|O|@]|6|$]]|$H|1F|J|1G|2|R|M|4U|N|@]|O|@]|6|$]]|$H|1H|J|1I|2|U|M|4V|N|@]|O|@]|6|$]]|$H|1J|J|1K|2|R|M|4W|N|@]|O|@]|6|$]]|$H|1L|J|1M|2|U|M|4X|N|@]|O|@]|6|$]]|$H|1N|J|1O|2|R|M|4Y|N|@]|O|@]|6|$]]|$H|1P|J|1Q|2|U|M|4Z|N|@]|O|@]|6|$]]|$H|1R|J|1S|2|R|M|50|N|@]|O|@]|6|$]]|$H|1T|J|1U|2|U|M|51|N|@]|O|@]|6|$]]|$H|1V|J|1W|2|R|M|52|N|@]|O|@]|6|$]]|$H|1X|J|1Y|2|U|M|53|N|@]|O|@]|6|$]]|$H|1Z|J|20|2|L|M|54|N|@]|O|@]|6|$]]|$H|21|J|22|2|R|M|55|N|@]|O|@]|6|$]]|$H|23|J|24|2|U|M|56|N|@]|O|@]|6|$]]|$H|25|J|26|2|R|M|57|N|@]|O|@]|6|$]]|$H|27|J|28|2|U|M|58|N|@]|O|@]|6|$]]|$H|29|J|2A|2|R|M|59|N|@]|O|@]|6|$]]|$H|2B|J|2C|2|U|M|5A|N|@]|O|@]|6|$]]|$H|2D|J|2E|2|R|M|5B|N|@]|O|@]|6|$]]|$H|2F|J|2G|2|U|M|5C|N|@]|O|@]|6|$]]|$H|2H|J|W|2|R|M|5D|N|@]|O|@]|6|$]]|$H|2I|J|2J|2|U|M|5E|N|@]|O|@]|6|$]]|$H|2K|J|10|2|R|M|5F|N|@]|O|@]|6|$]]|$H|2L|J|2M|2|U|M|5G|N|@]|O|@]|6|$]]|$H|2N|J|2O|2|R|M|5H|N|@]|O|@]|6|$]]|$H|2P|J|2Q|2|U|M|5I|N|@]|O|@]|6|$]]|$H|2R|J|18|2|R|M|5J|N|@]|O|@]|6|$]]|$H|2S|J|2T|2|U|M|5K|N|@]|O|@]|6|$]]|$H|2U|J|1C|2|R|M|5L|N|@]|O|@]|6|$]]|$H|2V|J|2W|2|U|M|5M|N|@]|O|@]|6|$]]|$H|2X|J|1G|2|R|M|5N|N|@]|O|@]|6|$]]|$H|2Y|J|2Z|2|U|M|5O|N|@]|O|@]|6|$]]|$H|30|J|31|2|R|M|5P|N|@]|O|@]|6|$]]|$H|32|J|33|2|U|M|5Q|N|@]|O|@]|6|$]]|$H|34|J|35|2|R|M|5R|N|@]|O|@]|6|$]]|$H|36|J|37|2|U|M|5S|N|@]|O|@]|6|$]]|$H|38|J|39|2|L|M|5T|N|@]|O|@]|6|$]]|$H|3A|J|3B|2|R|M|5U|N|@]|O|@]|6|$]]|$H|3C|J|3D|2|U|M|5V|N|@]|O|@]|6|$]]|$H|3E|J|3F|2|3G|M|5W|N|@]|O|@$3H|5X|3I|5Y|H|5Z]]|6|$]]|$H|3J|J|3K|2|U|M|60|N|@]|O|@]|6|$]]|$H|3L|J|3M|2|R|M|61|N|@]|O|@]|6|$]]|$H|3N|J|3O|2|U|M|62|N|@]|O|@]|6|$]]|$H|3P|J|3F|2|3G|M|63|N|@]|O|@$3H|64|3I|65|H|66]]|6|$]]|$H|3Q|J|3R|2|U|M|67|N|@]|O|@]|6|$]]|$H|3S|J|3T|2|U|M|68|N|@]|O|@]|6|$]]|$H|3U|J|3V|2|U|M|69|N|@]|O|@]|6|$]]|$H|3W|J|3X|2|U|M|6A|N|@]|O|@]|6|$]]|$H|3Y|J|3F|2|3G|M|6B|N|@]|O|@$3H|6C|3I|6D|H|6E]]|6|$]]|$H|3Z|J|40|2|R|M|6F|N|@]|O|@]|6|$]]|$H|41|J|42|2|U|M|6G|N|@]|O|@]|6|$]]|$H|43|J|44|2|U|M|6H|N|@]|O|@]|6|$]]|$H|45|J|46|2|U|M|6I|N|@]|O|@]|6|$]]|$H|47|J|48|2|U|M|6J|N|@]|O|@]|6|$]]|$H|49|J|4A|2|U|M|6K|N|@]|O|@]|6|$]]|$H|4B|J|4C|2|R|M|6L|N|@]|O|@]|6|$]]|$H|4D|J|4E|2|U|M|6M|N|@]|O|@]|6|$]]|$H|4F|J|3F|2|3G|M|6N|N|@]|O|@$3H|6O|3I|6P|H|6Q]]|6|$]]|$H|4G|J|-4|2|U|M|6R|N|@]|O|@]|6|$]]]]

云数据仓库 Doris 是否兼容社区版 Doris？

云数据仓库 Doris 支持哪些来源的数据？

操作相关问题

云数据仓库 for Apache Doris查询报错：Failed to get scan range, no queryable replica found in tablet: xxxx

tablet writer write failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215 or -238

tablet 110309738 has few replicas: 1, alive backends: [10003]

disk xxxxx on backend xxx exceed limit usage

通过 Java 程序调用 stream load 导入数据，在一批次数据量较大时，可能会报错 Broken Pipe

Lost connection to MySQL server at 'reading initial communication packet', system error: 0

Not connected to 192.168.100.1:8060 yet, server_id=384

recoveryTracker should overlap or follow on disk last VLSN of 4,422,880 recoveryFirst= 4,422,882 UNEXPECTED_STATE_FATAL

Doris 编译安装 JDK 版本不兼容问题

常见报错

blocks|key|5g0na|text|这种情况是因为对应的+tablet+没有找到可以查询的副本，通常原因可能是+BE+宕机、副本缺失等。可以先通过+show+tablet+tablet_id+语句，然后执行后面的+show+proc+语句，查看这个+tablet+对应的副本信息，检查副本是否完整。同时还可以通过+show+proc+"/cluster_balance"+信息来查询集群内副本调度和修复的进度。
关于数据副本管理相关的命令，可以参阅+数据副本管理。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|entityMap^0|1K|L|2H|9|3V|S^^$0|@$1|2|3|4|5|6|7|G|8|@$9|H|A|I|B|C]|$9|J|A|K|B|C]|$9|L|A|M|B|C]]|D|@]|E|$]]]|F|$]]

entityMap|blocks|key|7e01s|text|这个错误通常发生在数据导入操作中。新版错误码为+-235，老版本错误码可能是+-215。这个错误的含义是，对应tablet的数据版本超过了最大限制（默认500，由+BE+参数+max_tablet_version_num+控制），后续写入将被拒绝。例如问题中这个错误，即表示+27306172+这个+tablet+的数据版本超过了限制。
这个错误通常是因为导入的频率过高，大于后台数据的++compaction+速度，导致版本堆积并最终超过了限制。此时，我们可以先通过+show+tablet+27306172++语句，然后执行结果中的+show+proc+语句，查看tablet各个副本的情况。结果中的+versionCount++即表示版本数量。如果发现某个副本的版本数量过多，则需要降低导入频率或停止导入，并观察版本数是否有下降。如果停止导入后，版本数依然没有下降，则需要去对应的BE节点查看be.INFO++日志，搜索+tablet+id+以及+compaction+关键词，检查+compaction+是否正常运行。
-238+错误通常出现在同一批导入数据量过大的情况，从而导致某一个+tablet+的+Segment+文件过多（默认是+200，由+BE+参数+max_segment_num_per_rowset+控制）。此时建议减少一批次导入的数据量，或者适当提高+BE+配置参数值来解决。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data^0|2G|M|EW|Q^^$0|$]|1|@$2|3|4|5|6|7|8|G|9|@$A|H|B|I|C|D]|$A|J|B|K|C|D]]|E|@]|F|$]]]]

entityMap|blocks|key|ffpc1|text|这个错误可能发生在查询或者导入操作中。通常意味着对应+tablet+的副本出现了异常。
此时，可以先通过++show+backends+命令检查BE节点是否有宕机，如+isAlive+字段为+false，或者+LastStartTime++是最近的某个时间（表示最近重启过）。如果+BE+有宕机，则需要去+BE+对应的节点，查看+be.out+日志。如果+BE++是因为异常原因宕机，通常+be.out+中会打印异常堆栈，帮助排查问题。如果+be.out+中没有错误堆栈。则可以通过+Linux+命令++dmesg+-T+检查是否是因为+OOM+导致进程被系统+kill+掉。
如果没有+BE+节点宕机，则需要通过+show+tablet+110309738语句，然后执行结果中的+show+proc+语句，查看+tablet+各个副本的情况，进一步排查。|type|unstyled|depth|inlineStyleRanges|entityRanges|data^0^^$0|$]|1|@$2|3|4|5|6|7|8|C|9|@]|A|@]|B|$]]]]

blocks|key|8qjc7|text|通常出现在导入、Alter++等操作中。这个错误意味着对应+BE+的对应磁盘的使用量超过了阈值（默认95%25）此时可以先通过+show+backends+命令，其中++MaxDiskUsedPct+展示的是对应+BE+上，使用率最高的那块磁盘的使用率，如果超过95%25，则会报这个错误。
此时需要前往对应+BE+节点，查看数据目录下的使用量情况。其中+trash+目录和+snapshot+目录可以手动清理以释放空间。如果是+data+目录占用较大，则需要考虑删除部分数据以释放空间了。具体可以参阅+磁盘空间管理。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|entityMap^0^^$0|@$1|2|3|4|5|6|7|C|8|@]|9|@]|A|$]]]|B|$]]

entityMap|blocks|key|deid4|text|这个错误可能会在++show+backends+或+show+frontends+命令的结果中出现。通常出现在某个+FE+或+BE++节点的错误信息列中。这个错误的含义是，Master+FE+向这个节点发送心跳信息后，该节点发现心跳信息中携带的+cluster+id++和本地存储的+cluster+id+不同，所以拒绝回应心跳。
Doris+的+Master+FE+节点会主动发送心跳给各个+FE+或+BE++节点，并且在心跳信息中会携带一个+cluster_id。cluster_id+是在一个集群初始化时，由+Master+FE++生成的唯一集群标识。当+FE+或+BE+第一次收到心跳信息后，则会将+cluster_id+以文件的形式保存在本地。FE+的该文件在元数据目录的++image/目录下，BE+则在所有数据目录下都有一个+cluster_id+文件。之后，每次节点收到心跳后，都会用本地+cluster_id++的内容和心跳中的内容作比对，如果不一致，则拒绝响应心跳。
该机制是一个节点认证机制，以防止接收到集群外的节点发送来的错误的心跳信息。
如果需要恢复这个错误。首先要先确认所有节点是否都是正确的集群中的节点。之后，对于++FE+节点，可以尝试修改元数据目录下的+image/VERSION+文件中的+cluster_id+值后重启+FE。对于+BE++节点，则可以删除所有数据目录下的+cluster_id+文件后重启+BE。|type|unstyled|depth|inlineStyleRanges|entityRanges|data^0^^$0|$]|1|@$2|3|4|5|6|7|8|C|9|@]|A|@]|B|$]]]]

invalid cluster id: xxxx

entityMap|blocks|key|6c85d|text|除了+Broken+Pipe+外，还可能出现一些其他的奇怪的错误。
这个情况通常出现在开启++httpv2后。因为+httpv2是使用+spring+boot+实现的+http+服务，并且使用+tomcat+作为默认内置容器。但是++tomcat+对307转发的处理似乎有些问题，所以后面将内置容器修改为了+jetty。此外，在+java+程序中的+apache+http++client+的版本需要使用4.5.13以后的版本。之前的版本，对转发的处理也存在一些问题。
所以这个问题可以有两种解决方式：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|aie9p|关闭+httpv2。
在+fe.conf+中添加+enable_http_server_v2=false+后重启+FE。但是这样无法再使用新版+UI+界面，并且之后的一些基于+httpv2的新接口也无法使用。（正常的导入查询不受影响）。|ordered-list-item|9p3hu|升级。
可以升级到+Doris+0.15+及之后的版本，已修复这个问题。^0|0|0^^$0|$]|1|@$2|3|4|5|6|7|8|H|9|@]|A|@]|B|$]]|$2|C|4|D|6|E|8|I|9|@]|A|@]|B|$]]|$2|F|4|G|6|E|8|J|9|@]|A|@]|B|$]]]]

entityMap|blocks|key|97vf7|text|如果使用+MySQL+客户端连接+Doris+时出现如下问题，这通常是因为编译+FE+时使用的+jdk+版本和运行+FE+时使用的+jdk+版本不同导致的。
注意使用+docker+编译镜像编译时，默认的+JDK+版本是+openjdk+11，可以通过命令切换到+openjdk+8。|type|unstyled|depth|inlineStyleRanges|entityRanges|data^0^^$0|$]|1|@$2|3|4|5|6|7|8|C|9|@]|A|@]|B|$]]]]

entityMap|blocks|key|e5fu3|text|在导入或者查询时，我们可能遇到这个错误。如果您去对应的+BE+日志中查看，也可能会找到类似错误。
这是一个+RPC+错误，通常有两种可能：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|fmj7r|对应的+BE+节点宕机。|ordered-list-item|7pp9g|rpc+拥塞或其他错误。|aga56|如果是+BE+节点宕机，则需要查看具体的宕机原因。这里只讨论+rpc+拥塞的问题。
一种情况是+OVERCROWDED，即表示+rpc+源端有大量未发送的数据超过了阈值。BE+有两个参数与之相关：|5e1g1|brpc_socket_max_unwritten_bytes：默认+1GB，如果未发送数据超过这个值，则会报错。可以适当修改这个值以避免+OVERCROWDED+错误。（但这个治标不治本，本质上还是有拥塞发生）。|offset|length|style|CODE|ccnln|tablet_writer_ignore_eovercrowded：默认为+false。如果设为true，则+Doris+会忽略导入过程中出现的+OVERCROWDED+错误。这个参数主要为了避免导入失败，以提高导入的稳定性。|7iadb|第二种是+rpc+的包大小超过+max_body_size。如果查询中带有超大+String+类型，或者+bitmap+类型时，可能出现这个问题。可以通过修改以下+BE+参数规避：+brpc_max_body_size：默认+3GB。^0|0|0|0|0|0|V|0|0|X|0|2J|I^^$0|$]|1|@$2|3|4|5|6|7|8|T|9|@]|A|@]|B|$]]|$2|C|4|D|6|E|8|U|9|@]|A|@]|B|$]]|$2|F|4|G|6|E|8|V|9|@]|A|@]|B|$]]|$2|H|4|I|6|7|8|W|9|@]|A|@]|B|$]]|$2|J|4|K|6|E|8|X|9|@$L|Y|M|Z|N|O]]|A|@]|B|$]]|$2|P|4|Q|6|E|8|10|9|@$L|11|M|12|N|O]]|A|@]|B|$]]|$2|R|4|S|6|7|8|13|9|@$L|14|M|15|N|O]]|A|@]|B|$]]]]

blocks|key|vlul|text|有时重启+FE，会出现如上错误（通常只会出现在多+Follower+的情况下）。并且错误中的两个数值相差2。导致+FE+启动失败。
这是+bdbje+的一个+bug，尚未解决。遇到这种情况，只能通过+元数据运维手册+中的故障恢复进行操作来恢复元数据了。|type|unstyled|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|data|entityMap^0|32|4^^$0|@$1|2|3|4|5|6|7|G|8|@$9|H|A|I|B|C]]|D|@]|E|$]]]|F|$]]

blocks|key|8td2u|text|在编译和安装+Apache+Doris+时，JDK+版本不兼容问题是一个常见的障碍。Doris+是一个基于+MPP（Massively+Parallel+Processing）架构的分布式+SQL+数据库，通常需要特定版本的+JDK+来进行编译和运行。以下是解决+JDK+版本不兼容问题的一些步骤和建议：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|da4ic|1.+检查+Doris+的+JDK+版本要求|header-three|6f032|首先，确保你了解当前版本的+Doris+对+JDK+的要求。通常，这些信息可以在+Doris+的官方文档或+README+文件中找到。例如，某些版本的+Doris+可能需要+JDK+8，而不支持+JDK+11+或更高版本。|c67dt|2.+安装正确版本的+JDK|94fi3|根据+Doris+的要求，安装正确版本的+JDK。以下是一些常见的+JDK+安装方法：|ehrlt|在+Ubuntu+上安装+JDK+8|header-four|6ro8o|sudo+apt+update
sudo+apt+install+openjdk-8-jdk|code-block|syntax|javascript|63koq|在+CentOS+上安装+JDK+8|5vida|sudo+yum+install+java-1.8.0-openjdk-devel|64r4i|在+macOS+上安装+JDK+8|9hpt6|使用+Homebrew：|bkt7q|brew+tap+AdoptOpenJDK/openjdk
brew+install+--cask+adoptopenjdk8|bftbj|3.+设置+JAVA_HOME+环境变量|7ujl4|安装正确版本的+JDK+后，确保设置+JAVA_HOME+环境变量指向该+JDK+的安装路径。你可以在+.bashrc、.bash_profile+或+.zshrc+文件中添加以下内容：|offset|length|style|CODE|be2qq|export+JAVA_HOME=/path/to/your/jdk8
export+PATH=$JAVA_HOME/bin:$PATH|6r2lk|例如，在+Ubuntu+上，JDK+8+的路径可能是+/usr/lib/jvm/java-8-openjdk-amd64：|bkuj1|export+JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export+PATH=$JAVA_HOME/bin:$PATH|1v6c1|在+macOS+上，使用+Homebrew+安装的+JDK+8+的路径可能是+/Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home：|9pfl4|export+JAVA_HOME=/Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home
export+PATH=$JAVA_HOME/bin:$PATH|3u398|4.+验证+JDK+版本|21nhs|确保你的环境中使用的是正确版本的+JDK。你可以使用以下命令来验证：|2pae8|java+-version|7l551|输出应该类似于：|8cecj|openjdk+version+"1.8.0_292"
OpenJDK+Runtime+Environment+(build+1.8.0_292-b10)
OpenJDK+64-Bit+Server+VM+(build+25.292-b10,+mixed+mode)|br2g7|5.+清理和重新编译+Doris|bp3l7|如果你之前尝试编译+Doris+并遇到+JDK+版本不兼容的问题，建议清理之前的编译输出并重新编译。你可以使用以下命令：|2hoee|make+clean
make|2a3qk|6.+检查编译日志|bn605|在编译过程中，仔细检查编译日志。如果仍然遇到+JDK+版本不兼容的问题，日志中通常会提供详细的错误信息，帮助你进一步诊断和解决问题。|53cu3|7.+参考官方文档和社区支持|a74r2|如果上述步骤仍然无法解决问题，建议参考+Doris+的官方文档和社区支持。你可以在+Apache+Doris+的+GitHub+仓库、邮件列表或用户论坛中寻求帮助。|278lc|entityMap^0|0|0|0|0|0|0|0|0|0|0|0|0|0|J|9|1G|7|1O|D|24|6|0|0|R|X|0|0|13|1U|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|2A|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|2B|8|@]|9|@]|A|$]]|$1|E|3|F|5|6|7|2C|8|@]|9|@]|A|$]]|$1|G|3|H|5|D|7|2D|8|@]|9|@]|A|$]]|$1|I|3|J|5|6|7|2E|8|@]|9|@]|A|$]]|$1|K|3|L|5|M|7|2F|8|@]|9|@]|A|$]]|$1|N|3|O|5|P|7|2G|8|@]|9|@]|A|$Q|R]]|$1|S|3|T|5|M|7|2H|8|@]|9|@]|A|$]]|$1|U|3|V|5|P|7|2I|8|@]|9|@]|A|$Q|R]]|$1|W|3|X|5|M|7|2J|8|@]|9|@]|A|$]]|$1|Y|3|Z|5|6|7|2K|8|@]|9|@]|A|$]]|$1|10|3|11|5|P|7|2L|8|@]|9|@]|A|$Q|R]]|$1|12|3|13|5|D|7|2M|8|@]|9|@]|A|$]]|$1|14|3|15|5|6|7|2N|8|@$16|2O|17|2P|18|19]|$16|2Q|17|2R|18|19]|$16|2S|17|2T|18|19]|$16|2U|17|2V|18|19]]|9|@]|A|$]]|$1|1A|3|1B|5|P|7|2W|8|@]|9|@]|A|$Q|R]]|$1|1C|3|1D|5|6|7|2X|8|@$16|2Y|17|2Z|18|19]]|9|@]|A|$]]|$1|1E|3|1F|5|P|7|30|8|@]|9|@]|A|$Q|R]]|$1|1G|3|1H|5|6|7|31|8|@$16|32|17|33|18|19]]|9|@]|A|$]]|$1|1I|3|1J|5|P|7|34|8|@]|9|@]|A|$Q|R]]|$1|1K|3|1L|5|D|7|35|8|@]|9|@]|A|$]]|$1|1M|3|1N|5|6|7|36|8|@]|9|@]|A|$]]|$1|1O|3|1P|5|P|7|37|8|@]|9|@]|A|$Q|R]]|$1|1Q|3|1R|5|6|7|38|8|@]|9|@]|A|$]]|$1|1S|3|1T|5|P|7|39|8|@]|9|@]|A|$Q|R]]|$1|1U|3|1V|5|D|7|3A|8|@]|9|@]|A|$]]|$1|1W|3|1X|5|6|7|3B|8|@]|9|@]|A|$]]|$1|1Y|3|1Z|5|P|7|3C|8|@]|9|@]|A|$Q|R]]|$1|20|3|21|5|D|7|3D|8|@]|9|@]|A|$]]|$1|22|3|23|5|6|7|3E|8|@]|9|@]|A|$]]|$1|24|3|25|5|D|7|3F|8|@]|9|@]|A|$]]|$1|26|3|27|5|6|7|3G|8|@]|9|@]|A|$]]|$1|28|3|-4|5|6|7|3H|8|@]|9|@]|A|$]]]|29|$]]

blocks|key|d341d|type|unstyled|text|云数据仓库+Doris（Cloud+Data+Warehouse+Doris）为您提供弹性易扩展，开箱即用的云端+Doris+托管服务。云数据仓库+Doris+基于+MPP（大规模并行处理）架构，支持标准+SQL+语言，兼容+MySQL+协议，支持对+PB+级的海量数据进行高并发查询，帮助您轻松应对多种+ETL+数据处理和业务探索场景。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

什么是云数据仓库 Doris？

blocks|key|8675a|type|unstyled|text|内核完全兼容。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|473ga|type|unstyled|text|集群的基本存储和计算单元，随着节点增加，集群的容量和性能将线性提升。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

什么是集群节点？

blocks|key|8hofs|type|unstyled|text|节点规格是计算节点的资源配置，包括+CPU、内存、磁盘等。不同节点规格性能和存储量不同。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

什么是节点规格？

blocks|key|2jgbt|type|unstyled|text|可以将云数据库+TencentDB、消息队列+CKafka+等云产品中的数据无缝导入到云数据仓库+Doris+中进行分析计算。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

云数据仓库 for Apache Doris

对象存储

私有网络

数据库

云数据仓库

云原生

数据仓库

Kafka

大数据

MySQL

PostgreSQL

数据分析

OLAP

Hive

路由

HDFS

数据一致性

数据存储

数据分片

容灾

数据结构

虚拟主机

数据处理

11481 PaloFe
30203 Elasticsearch
24141 JournalNode
23903 DataNode
[root@node3 fe]# 
（4）查看fe.log日志，发现FE transfer FE type from MASTER to MASTER
2021-08-06 14:41:01,314 INFO 1 [Catalog.waitForReady():751] wait catalog to be ready. FE type: MASTER. is ready: true
2021-08-06 14:41:01,315 INFO 1 [Catalog.waitForReady():746] catalog is ready.

Apache Doris下载安装与启动

（1）官网
 http://doris.apache.org/master/zh-CN/downloads/downloads.html
 官网上需要下载源码进行编译安装。

Apache Doris下载安装与启动

当数据文件的总大小大于 10GB，则可能需要怀疑是否是因为 image 没有成功，或者分发 image 失败导致的历史 journal 一直无法删除。
je.info.0 是 bdbje 的运行日志。 所以，如果 image 生成失败，或者 image 推送给其他 FE 失败时，都会导致 bdbje 中的数据不断累积。 如果先启动了新的 FE，而没有执行语句，则新的 FE 日志中会一直滚动 current node is not added to the group. please add it first. 字样。 之后，fe.log 中可能会有一些 bdbje 相关的错误堆栈信息。如果最终日志中显示 QE service start 和 thrift server started，则通常表示启动成功。 其他常见问题
fe.log 中一直滚动 meta out of date. current time: xxx, synchronized time: xxx, has log: xxx, fe type

#摘要：
在实际生产环境中，如何对 Doris 的元数据进行管理。包括 FE 节点建议的部署方式、一些常用的操作方法、以及常见错误的解决方法。

Apache Doris元数据运维

UNKNOWN to MASTER/FOLLOWER/OBSERVER 。 外⽹环境访问 http://fe_host:fe_http_port 查看是否可以访问WebUI界 ⾯，登录账号默认为root，密码为空
注：如果在 fe.log 中查看不到启动失败的信息，也许在 fe.out 如果 BE 已经被加⼊集群，⽇志中应该每隔 5 秒滚动来⾃ FE 的⼼跳⽇ 志： get heartbeat, host: xx.xx.xx.xx, port: 9020, cluster id: xxxxxx 其次，⽇志中应该每隔 10 秒滚动 finish report task success. return code: 0 的字样，表示 BE 向 FE 的通信正常。 注：如果在 be.INFO 中查看不到启动失败的信息，也许在 be.out 中可以看到。

注：如果在 fe.log 中查看不到启动失败的信息，也许在 fe.out 中可以看到。

Doris单机版安装指南

而刚被删除的对象会保留在回收站中。而下线逻辑不会处理这些分片。可以通过修改 FE 的配置参数 catalog_trash_expire_second 来修改对象在回收站中驻留的时间。 通常情况下我们主要查看fe.log日志。特殊情况下，有些日志可能输出到了fe.out中。
BE
BE日志主要有：
be.INFO：主日志。 FE启动失败，fe.log中一直滚动 "wait catalog to be ready. FE type UNKNOWN"
这种问题通常有两个原因：
本次FE启动时获取到的本机IP和上次启动不一致，通常是因为没有正确设置 priority_network 而导致 FE 启动时匹配到了错误的 并且错误中的两个数值相差2。导致 FE 启动失败。
这是 bdbje 的一个 bug，尚未解决。遇到这种情况，只能通过元数据运维文档 中的 故障恢复 进行操作来恢复元数据了。
Q12.

在下线过程中，通过 show backends 查看下线节点的 tabletNum ，会观察到 tabletNum 数量在减少，说明数据分片正在从这个节点迁移走。当数量减到0时，系统会自动删除这个节点。但某些情况下，tabletNum 下降到一定数值后就不变化。这通常可能有以下两种原因：

「硬刚Doris系列」官方常见问题小汇总

当一个 Partition 创建失败时，可能会报这个错误。 在 fe.log 中，查找对应时间点的 Failed to create partition 日志。
在该日志中，会出现一系列类似 {10001-10010} 字样的数字对。 以上问题，请参阅官网的 安装与部署 检查 FE 和 BE 的连通性。
2）预分配内存失败。可能是表中一行的字节长度超过了 100KB。
3）Too many open files。 如果创建数据分片时超时，也可以通过在 fe.conf 中设置 
tablet_create_timeout_second=xxx 
以及 max_create_table_timeout_second= 如果调大后有job CANCELLED，可以通过fe.log和be.INFO搜索对应 jobid的信息，确定异常详情再处理。

A1 Doris 建表是按照 Partition 粒度依次创建的。当一个 Partition 创建失败时，可能会报这个错误。即使不使用 Partition，当建表出现问题时，也会报 Failed to create partition，因为如前文所述，Doris 会为没有指定 Partition 的表创建一个不可更改的默认的 Partition。 

【Apache Doris】周FAQ集锦：第 28 期

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

这种问题通常有两个原因：
本次 FE 启动时获取到的本机 IP 和上次启动不一致，通常是因为没有正确设置 priority_network 而导致 FE 启动时匹配到了错误的 IP 地址。需修改 priority_network 后重启 F

FE启动失败，fe.log 中一直滚动 "wait catalog to be ready. FE type UNKNOWN"

这种问题通常有两个原因：

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐