Lucene on Maven - java.lang.IllegalArgumentException UTF8编码长度超过最大长度32766错误
Lucene是一个开源的全文搜索引擎库，它提供了强大的文本搜索和索引功能。Maven是一个用于构建和管理Java项目的工具。java.lang.IllegalArgumentException UTF8编码长度超过最大长度32766错误是指在使用Lucene on Maven时，出现了UTF8编码长度超过最大长度32766的错误。
UTF-8是一种可变长度的字符编码方式，用于表示Unicode字符集中的字符。它可以表示世界上几乎所有的字符，包括各种语言的文字、符号和表情等。UTF-8编码中，每个字符的长度可以是1到4个字节。
在Lucene on Maven中，当使用UTF-8编码的文本进行索引或搜索时，如果文本的长度超过了32766个字节（即UTF8编码长度超过最大长度32766），就会抛出java.lang.IllegalArgumentException异常。
解决这个问题的方法有以下几种：
- 检查文本长度：首先，检查你要索引或搜索的文本的长度是否超过了32766个字节。如果是，可以考虑缩短文本长度或者采取其他方式处理长文本。
- 分割文本：如果文本长度超过了32766个字节，可以将文本分割成多个较短的部分进行索引和搜索。这样可以避免超过最大长度的问题。
- 使用其他编码方式：如果你不一定需要使用UTF-8编码，可以尝试使用其他编码方式，如UTF-16或GBK等。不同的编码方式对字符长度的限制可能不同，选择适合你需求的编码方式。
- 更新Lucene版本：如果你使用的是较旧的Lucene版本，可以尝试升级到最新版本。新版本的Lucene可能已经修复了这个问题或者提供了更好的处理方式。
腾讯云提供了多个与全文搜索相关的产品和服务，例如腾讯云搜索（Cloud Search）和腾讯云文智（Tencent Cloud Natural Language Processing）。你可以通过以下链接了解更多关于这些产品的信息：
- 腾讯云搜索：https://cloud.tencent.com/product/cs
- 腾讯云文智：https://cloud.tencent.com/product/nlp
请注意，以上答案仅供参考，具体解决方法可能需要根据实际情况进行调整。
相关·内容
1回答
如何使用lucene 4.10.3保存最大长度描述？
java、lucene
我尝试使用lucene 4.10.3存储大型描述字段。Store.YES));}我将收到以下错误{ java.lang.IllegalArgumentException: field="description“中至少包含一个巨大的术语(其UTF8编码长度超过<em
浏览 0提问于2015-01-19得票数 1
回答已采纳
1回答
在尝试将记录上传到SOLR时，我遇到以下错误：
Java.lang.Thread.run(Thread.java:745)\n原因: java.lang.IllegalArgumentException: Document在field=\"xml\“(其UTF8编码长度超过最大长度32766)中至少包含一个巨大的术语，所有这些术语都被跳过。，原始消息:字节长度最多为32766字节；获取51
浏览 0提问于2017-08-24得票数 0
1回答
Lucene on Maven - java.lang.IllegalArgumentException UTF8编码长度超过最大长度32766错误
java、apache、maven、lucene
我正在尝试用Lucene Maven索引一个超过字符串长度限制的大文档。然后，我收到这个错误。Caused by: java.lang.IllegalArgumentException: Document contains at least one immense term in field="content" (whose UTF8 encoding is longer than the max length 32766), al
浏览 22提问于2019-04-14得票数 0
回答已采纳
6回答
UTF8编码长度超过最大长度32766
elasticsearch
我已经将我的Elasticsearch集群从1.1升级到了1.2，在索引一个有点大的字符串时出现了错误。IllegalArgumentException[Document contains at least one immense term in field=\"response_body\" (whose UTF8encoding is longer than the max length 32766), all of which were skipped."response_body": { &q
浏览 233提问于2014-06-04得票数 65
回答已采纳
1回答
Neo4j:使用node_auto_index / lucene索引的长度大于32k的索引属性
neo4j、lucene、full-text-search
因此，我正在查看lucene索引。据我所见，有两种方法-- node_auto_index和apoc.index.addNode。
警告:未能调用过程apoc.index.addNode：由: java.lang.IllegalArgumentException: Document在field="text_e“中包含至少一个巨大的术语(其UTF8编码长度超过最大长度<
浏览 4提问于2017-03-20得票数 1
回答已采纳
1回答
它正像预期的那样工作，但有时我会遇到错误。你能帮个忙吗？文档在field="FileContent_en***“中至少包含一个巨大的术语(其UTF8编码长度超过最大长度32766)，所有这些都被跳过。请更正分析器，以避免产生这样的术语。‘，原始消息:字节长度最多可为32766；得到422071。也许文档有一个索引字符串字段( solr.StrField )，它太大了solr.StrField。
提前谢谢你
浏览 0提问于2020-08-12得票数 1
回答已采纳
1回答
Lucene和记号太长了
java、lucene
按照存储术语向量的步骤，我开始得到以下错误：
好吧没问题。(对我来说，死在一个超长的令牌上就像一个bug，但这是一个有意识
浏览 0提问于2016-03-10得票数 1
回答已采纳
1回答
elasticsearch jdbc导入数据包含json
mysql、json、elasticsearch
我想通过jprante使用elasticsearch-jdbc从mysql导入到elasticsearch。问题是table-x中的一些字段包含json数据，但是当jdbc导出到elasticsearch时，它会使其成为嵌套属性。我只想按原样导出，即字符串。table xpk|varchar(20)|varchar(1000){ "mappings": {
"
浏览 3提问于2016-04-23得票数 0
2回答
如何将Elasticsearch索引中的字段属性从index : not_analyzed更改为index:no？
java、elasticsearch
在使用java在Elasticsearch中尝试bulk api时，我得到了以下异常：
文档在field="msg_properties“中至少包含一个巨大的术语(其UTF8编码长度大于最大长度32766)，所有这些都被跳过。
浏览 0提问于2014-07-31得票数 0
2回答
如何处理SOLR中的“文档至少包含一个巨大的术语”？
solr、lucene
在LUCENE-5472中，Lucene被更改为在一个术语太长时抛出一个错误，而不仅仅是记录一条消息。此错误声明SOLR不接受大于32766的令牌
Caused by: java.lang.IllegalArgumentException: Document contains at least oneimmense term in field="text" (whose UTF8 encoding is longer than the max len
浏览 2提问于2016-05-06得票数 8
回答已采纳
1回答
文档至少包含一个巨大的术语- Solr索引错误。
pdf、solr、nutch
产生的错误：
异常写入文档id abc.com/files/hugepdf.pdf到索引；可能的分析错误：文档在field=中至少包含一个巨大的术语“content”(其UTF8编码长度大于最大长度32766‘，原始消息:字节最多可以是32766；got 110482。也许文档有一个索引字符串字段(solr.StrField)，它太大了。在索引失败时，所有索引都不会被添加到Solr中(由于超过<e
浏览 4提问于2017-07-26得票数 0
1回答
SOLR中的索引:修正分析器以避免产生巨大的术语
indexing、solr、nutch、analyzer、fieldtype
:文档在field=中至少包含一个巨大的术语“content”(其UTF8编码长度大于最大长度32766)，所有这些都被跳过。‘，原始消息:字节长度最多可为32766；got 40063。:文档在field="content“中至少包含一个庞大的术语( UTF8编码长度大于最大长度32766)，所有这些都被跳过。‘，原始消息:字节<em
浏览 8提问于2016-06-21得票数 0
1回答
HttpClient不发送带有俄罗斯字符的json请求
json、httpclient、flutter
我制作客户端应用程序，并使用HttpClient。它完美地发送和获得带有拉丁语符号的json，但是当我尝试用俄语字母发送json (具有相同的请求地址和服务器)时，它不会向服务器发送任何请求。以下是代码： static String _ssid; static const _codec = const JsonEncoder.withIndent(" ");
Res
浏览 2提问于2017-09-27得票数 1
回答已采纳
1回答
在MySQL中创建JPA唯一索引失败
java、mysql、spring、hibernate、jpa
长度默认为255，我使用的是MySQL 5.5，数据库排序规则设置为utf8mb4_bin。我知道我不能在列上指定唯一的约束，但是我想知道为什么日志文件中没有关于失败的索引创建的警告/错误。MySQL用"#1071 -指定的键太长；最大键长度为767字节“来响应手动创建索引的尝试，所以至少应该有某种提示是可见的，不是吗？
有办法在运行时处理/捕获这类错误吗？例如，记录错误消息，这样开发人员就知道出了问题。在我的项目中，我使用spring父程序作为ma
浏览 9提问于2016-12-16得票数 0
1回答
Elasticsearch -使用文本类型和关键字标记器进行映射，它是如何被索引的？
elasticsearch、mapping、tokenize、keyword
我刚接触过Elastisearch，对于某个字段是如何存储在Lucene索引中的，我有点困惑，因为我得到了一个错误:文档在field=中至少包含一个巨大的术语“originalrow.sortable”.....bytes，长度最多可以是32766；got 893970 "analyzer" : { "filter} },
&qu
浏览 11提问于2022-04-06得票数 1
回答已采纳
1回答
给定长度的NFC格式字符串的最长UTF8表示是什么？
utf-8、unicode-normalization、canonicalization、canonical-form
它指定分隔行的最大长度为75八进制(不包括分隔符)。健壮性原则和W3C字符模型都使我倾向于将以UTF8编码的输入字符串规范化为NFC格式(参见)。问题.
UTF8字符串的最大长度是多少?其NFC格式最多为75八进制？
浏览 2提问于2018-10-10得票数 0
回答已采纳
1回答
SonarQube错误:组件密钥长度大于授权的最大长度
sonarqube、sonar-runner、sonarqube-scan、sonarqube-web
我在SonarQube 6.1上有这个错误键的长度确实超过了所允许的400个字符，但是由于我们管理构建系统，所以我无法控制命名约定尽管如此，我正在寻找一个解决办法来克服这个错误。有什么猜测吗？
浏览 2提问于2016-12-14得票数 0
回答已采纳
1回答
Travis中的错误:作业超过最大日志长度，并且已被终止。
java、spring-boot、maven、testing、travis-ci
travis.yml找到目标：- mvn -f spring-project/pom.xml verify -Pe2e Travis:作业超过了最大日志长度
mvn -f spring-project/pom.xml clean verify -Pjacoco coveralls:reportmvn-f spring-project/pom.xml clean org.ja
浏览 1提问于2020-08-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
