检查无效的UTF8

文章/答案/技术大牛

发布

3回答

c++、utf-8

我正在将UTF8格式转换为十六进制的实际值。但是，我需要捕获一些无效的字节序列。有没有快速的方法来检查一个字符是否不属于C++中的UTF8？

浏览 0提问于2011-07-02得票数 10

回答已采纳

1回答

可以从无效的代码点构造java字符串吗？

java、unicode、utf-8

可以从无效的代码点在java中构造字符串吗？我想确定我的(反序列化)代码是否应该首先检查字节数组是否是有效的utf8编码。谢谢。

浏览 6提问于2013-11-01得票数 3

回答已采纳

1回答

如何在c#中验证流是有效的UTF8

c#、utf-8

有许多问题需要检测文件编码，这是棘手的。我只需要知道文件是否只包含有效的UTF8序列，因此可以安全地将其视为UTF8 (普通的ASCII可以安全地视为UTF8) 该文件在AspNetCore中以Stream的形式提供。我假设我必须读取流两次，第一次检查它是否不包含任何无效的UTF8序列，第二次实际进一步处理它。

浏览 39提问于2021-04-28得票数 0

回答已采纳

1回答

0到127 (0,1,2，...127)的正确数字，但从128到256，我得到的所有数字都等于255，而不是(128,129,130... 256 ).After 256每个数字都是ok的，并按顺序(257我认为问题与函数charCodeAt()有关，该函数返回character.For的Unicode，考虑到我有相同的字符，它总是返回255的原因，但这是不可能的，因为服务器正在发送"129,130,131在使用实际的解决方案之前，我尝试直接

浏览 0提问于2012-07-19得票数 0

1回答

读取nodejs中由两个端点定义的文件的一部分

javascript、node.js、filesystems、html5-filesystem

我是nodeJs的新手，但我已经很喜欢它了。我有以下data.xml文件。name> <teacher> <name>Priyanka</name></data>提前谢谢。

浏览 5提问于2016-12-08得票数 0

回答已采纳

1回答

Bzr:由于UTF-8错误，无法导入Mercurial (Hg)存储库

import、bazaar

但是，当我尝试导入时，它失败了，并出现了一个'utf8‘错误：16:02:09 800/2100 commits processed at 199/minute (800)ABORT: exception occurred processing commit :901 bzr: ERROR: exceptions.UnicodeDecodeError: 'utf8_modify_item(filecmd.path.decode('utf8')

浏览 0提问于2011-08-30得票数 1

回答已采纳

4回答

获取并显示任何语言页面，编码问题

python、google-app-engine、urllib2

我的目标是能够以任何语言获取任何页面。现在，我对编码有了问题：result = urllib2.urlopen(url).read() urllib2.urlopen(url).read().decode('utf8') 'utf8‘编解码器无法解码位置3544-3546的字节:无效数据那么如何解决呢？是否有任何库可以检查编码页是什么，并进行转换，以使其可读性？

浏览 2提问于2010-09-10得票数 2

回答已采纳

2回答

如何检查我的输入文件是否有效，是否存在于Javascript中？

javascript、node.js、linux、fs

我从Javascript中的文本文件中获取字符串。当用户输入错误的文件名或无效的文件名时，我只想显示一条消息。像这样:console.log(“您的输入无效”)；const fs = require('fs');strings= fs.readFileSync('abc.txt','utf8'); 我不知道如何

浏览 4提问于2021-03-05得票数 0

回答已采纳

1回答

在linux环境中未加载的windows中生成的XML文件

c#、xml、unix

我们正在使用C#和UTF8编码生成一个xml文件。我们检查输出，xml格式良好，并通过XSD验证。问题是，在UNIX中加载xml文件时有什么不同吗？我们可以要求客户提供什么来更好地理解这种情况？

浏览 1提问于2014-03-20得票数 0

回答已采纳

3回答

如何将任意二进制数据插入到VARCHAR列中？

mysql、sql

我有一个包含VARCHAR(100)列的MySQL表，使用utf8_general_ci排序规则。我可以看到此列包含任意字节序列(即包含无效UTF8字符序列的数据)的行，但我不知道如何编写允许输入此类数据的UPDATE或INSERT语句。1;Incorrect string value: '\xFC\xA7D-\xDA:...' for column 'Data' at row 1 如何编写绕过目标列排序规则的</

浏览 1提问于2016-06-16得票数 0

4回答

是否需要确保输出数据是有效的UTF-8？

php、utf-8

我应该使用正则表达式还是Iconv库来将UTF-8转换为UTF-8 (留下无效序列)？如果我不这样做，这会是一个安全问题吗？

浏览 0提问于2009-07-04得票数 1

回答已采纳

3回答

使用w2v时python中的编码问题

python、gensim、word2vec

我正在用python编写第一个使用word2vec模型的应用程序。这是我的简单代码import sysfrom gensim.models import Word2Vec #warnings.simplefilter("ignore")我得到以下错误： UnicodeDecodeError: &#x

浏览 4提问于2017-01-02得票数 1

回答已采纳

2回答

无法使用ADO/ODBC将重音字符写入MySQL

mysql、encoding、utf-8、odbc、ado

我的C++/Win32 32/Unicode程序使用ADO / MSDASQL / MyODBC链将数据写入MySQL。问题是字符串在到达MySQL之前被转换为UTF8，这需要UTF8。因此，重音字符被拒绝为无效字符。我的程序将OLE字符串(UFT16 16编码)传递给ADO，但不知何故，MyODBC (MySQL ODBC驱动程序)接收latin1字符串(我已经从源代码中重新编译了MyODBC，以检查驱动程序通过SqlBindParameter

浏览 7提问于2014-04-23得票数 0

回答已采纳

1回答

使用Buffer.from()和fs.readFileSync()的内容可以生成一个具有不同数据的缓冲区

node.js、buffer

let fb = fs.readFileSync(filePath);b = Buffer.from(fileData, "utf8");console.log(b);console.log(b.toString("utf8") === fb.toString("utf8")); 我将缓冲区

浏览 7提问于2022-02-24得票数 3

回答已采纳

2回答

在使用PHP MySQL & XML的web服务iPhone应用程序中导致崩溃的某些字符

php、iphone、mysql、xml、character-encoding

我们有一个实时的web服务iPhone应用程序，其中从MySQL表(类型：MyISAM；排序规则：latin1_swedish_ci)中读取来自服务器的内容，然后通过XML发送。在PHP的XML行中，我们修改了我相信这是一些与编码相关

浏览 0提问于2012-03-24得票数 0

2回答

来自NSInputStream的字符串不是有效的utf8。如何将更多的“有损”转换为utf8

encoding、utf-8、nsstring

我有一个从服务器读取数据的应用程序。有时，数据似乎是无效的UTF-8.如果从字节数组转换为UTF8 8-字符串，则字符串显示为零。字节数组中一定有一些无效的非UTF8 8字符。是否有一种方法可以将字节数组转换为UTF8并只筛选出无效字符？- (void)stream:(NSStream *)theStream handleEvent:(NSStreamEvent)streamEve

浏览 3提问于2015-05-21得票数 1

回答已采纳

3回答

IE 6、7、8中的Ajax问题

javascript、xml、ajax、internet-explorer

我使用的是Simple AJAX Code-Kit (SACK) v1.6.1，它在FF、GC、Opera和Safiri中运行良好。

浏览 1提问于2010-02-10得票数 1

2回答

包含特殊字符的Ajax响应

javascript、ajax

我正在尝试获取其中包含特殊字符的响应xml。这在IE中失败了，但在Mozilla中工作得很好。请让我知道如何解决这个问题。

浏览 9提问于2011-04-26得票数 0

2回答

PHP验证子字符串存在奇异规则

php、regex、validation

我试图用PHP验证我的输入，如何检查@username是否存在于字符串中，在UTF8中有以下有效格式？无效 $userMentioned = substr_count($text, $username);

浏览 2提问于2016-05-29得票数 1

回答已采纳

3回答

JSON到CSV的转换器-YELP数据集-python

python、json、csv、yelp

我对数据挖掘很感兴趣，我想打开并使用yelp的数据。Yelp的数据是json格式的，在它的网站上有以下代码将json转换成csv。

浏览 8提问于2016-02-28得票数 1

点击加载更多