将Scala Dataframe写入CSV文件时应用UTF8编码
Scala Dataframe是Scala语言中的一种数据结构，类似于表格或者关系型数据库中的表。它是一种强大的数据处理工具，可以用于数据的转换、过滤、聚合等操作。
当将Scala Dataframe写入CSV文件时，应用UTF8编码是为了确保数据的正确性和兼容性。UTF-8编码是一种通用的字符编码标准，可以表示世界上几乎所有的字符。使用UTF-8编码可以避免在数据转换过程中出现乱码或者字符丢失的问题。
优势：
- 兼容性强：UTF-8编码可以表示世界上几乎所有的字符，包括各种语言的文字、符号和表情等，因此可以确保数据的兼容性，适用于不同语言和地区的数据处理。
- 数据完整性：UTF-8编码可以保证数据在转换和存储过程中不会出现乱码或者字符丢失的问题，确保数据的完整性和准确性。
- 国际化支持：UTF-8编码是一种国际化的字符编码标准，可以支持多种语言的文字和符号，适用于全球化的数据处理需求。
应用场景：
- 多语言数据处理：当需要处理包含多种语言的数据时，使用UTF-8编码可以确保数据的正确性和兼容性。
- 跨平台数据交换：当需要在不同操作系统或者不同应用程序之间进行数据交换时，使用UTF-8编码可以保证数据的兼容性和可读性。
- 数据存储和共享：当需要将数据存储到文件或者数据库中，并与其他人共享时，使用UTF-8编码可以确保数据的完整性和可用性。
推荐的腾讯云相关产品： 腾讯云提供了一系列与云计算相关的产品和服务，以下是一些推荐的产品和产品介绍链接地址：
- 云服务器（CVM）：提供弹性的云服务器实例，支持多种操作系统和应用场景。产品介绍链接
- 云数据库MySQL版（CDB）：提供稳定可靠的云数据库服务，支持高可用、备份恢复、性能优化等功能。产品介绍链接
- 云存储（COS）：提供安全可靠的云存储服务，支持多种数据存储和访问方式。产品介绍链接
- 人工智能平台（AI Lab）：提供丰富的人工智能算法和工具，支持图像识别、语音识别、自然语言处理等应用。产品介绍链接
- 物联网平台（IoT Hub）：提供全面的物联网解决方案，支持设备接入、数据管理、应用开发等功能。产品介绍链接
通过使用腾讯云的相关产品，可以实现对Scala Dataframe数据的处理、存储和共享，同时保证数据的完整性和兼容性。
相关·内容
在Spark2-Scala中将数据帧写入CSV文件时，如何正确应用UTF8编码？我使用的是：
df.repartition(1).write.mode(SaveMode.Overwrite)
.format("csv").option("header", true).option("delimiter", "|")
.save(Path)
这是不起作用的:例如:将é替换为奇怪的字符串。
谢谢。
浏览 12提问于2019-10-21得票数 1
回答已采纳
2回答
而我编写python代码来写入和读取csv文件utf8字符串
import csv
test1='ab"cc"dd'.encode('utf8')
test2='bbb'.encode('utf8')
csv_file = open('test.csv','w')
writer= csv.writer(csv_file)
writer.writerow([test1,test2])
csv_file.close()
with open('test.csv', ne
浏览 18提问于2021-02-15得票数 1
回答已采纳
我想从DataFrame中编写一个编码csv文件的GBK。我在CSVOptions中找到了选项CSVOptions，当我在本地环境中读取带有option("encoding", "GBK")的GBK编码文件时，它工作得很好。但是当我使用write函数时，如下所示
df.repartition(1).write.option("header", value = true).option("encoding", "GBK").csv("F:\\project\\test1")
我得到的csv文件总是使用
浏览 2提问于2021-11-11得票数 3
我需要转换一个从UTF8到W1252 (西欧)的.csv文件。
我已经尝试了来自MSDN页面的示例和以下代码，但没有成功
Encoding utf8 = Encoding.UTF8;
//Encoding utf8 = new UTF8Encoding();
Encoding win1252 = Encoding.GetEncoding(1252);
string src = today.ToString("dd-MM-yyyy") + "-ups.csv";
string so
浏览 6提问于2017-12-29得票数 2
回答已采纳
2回答
如何在Scala中将这个字符串the surveyÂ’s rules转换为UTF-8？
我试过这些方法，但不起作用：
scala> val text = "the surveyÂ’s rules"
text: String = the surveyÂ’s rules
scala> scala.io.Source.fromBytes(text.getBytes(), "UTF-8").mkString
res17: String = the surveyÂ’s rules
scala> new String(text.getBytes(),&
浏览 3提问于2014-05-29得票数 8
我正在使用python读取许多文件并将其编码为utf8，我用下面的代码进行了尝试：
import os
from os import listdir
def find_csv_filenames(path_to_dir, suffix=".csv" ):
path_to_dir = os.path.normpath(path_to_dir)
filenames = listdir(path_to_dir)
#Check *csv directory
fp = lambda f: not os.path.isdir(path_to_dir+"/
浏览 4提问于2013-12-13得票数 0
更新--原来这与Databricks Spark阅读器创建DataFrame的方式有关。在下面的示例中，我使用Databricks CSV读取器读取人员并处理CSV，然后以Parquet格式将生成的DataFrame写入HDFS。
我更改了代码以创建DataFrame：(类似于people.csv)
JavaRDD<Address> address = context.textFile("/Users/sfelsheim/data/address.csv").map(
new Function<String, Address>()
浏览 2提问于2015-09-02得票数 1
我正在使用这个包解析我的数据(示例json数据在下面的代码中描述)
我试图使用以下代码在我的nodejs应用程序中生成一个CSV文件：
如果我在Excel中打开该文件，那么在任何应该出现£标志的地方都会得到£。
var json2csv = require('json2csv');
var fs = require('fs');
var fields = ['car', 'price', 'color'];
var myCars = [
{
"car": "Audi",
浏览 7提问于2017-07-21得票数 3
假设我读了一个html网站，我得到了一个名字列表，比如：'Amiel，Henriédéric‘。
为了获得名称列表，我使用以下代码对html进行解码：
f = urllib.urlopen("http://xxx.htm")
html = f.read()
html=html.decode('utf8')
t.feed(html)
t.close()
lista=t.data
此时，变量lista包含一个名称列表，如：
U‘’Abatantuono，Diego'，.，U‘’Amiel，Henri-Frédéric‘
现在我想：
将这些名称放入
浏览 3提问于2013-03-25得票数 5
回答已采纳
由于我能够使用'utf-8‘编码使用to_csv保存字符串，所以我希望能够使用to_excel进行同样的保存。这不是我这边的编码问题。我以前看过的任何一个帖子都没有讨论这个问题。
我在Windows 7(Anaconda)和熊猫0.18.1上使用python 2.7.12
我有两个问题与保存熊猫数据文件包含特殊字符(编码为'utf-8')为一个.csv或.xlsx文件。
例如：
import pandas as pd
# Create a Pandas dataframe from the data.
df = pd.DataFrame({'Data'
浏览 0提问于2016-10-19得票数 2
回答已采纳
1回答
我在将数据转换为csv时遇到了一些性能问题。
import numpy as np
import pandas as pd
from time import time
t =time();_=pd.DataFrame(np.random.sample((10000,10))).to_csv(encoding=None); print time()-t
0.159129142761
t =time();_=pd.DataFrame(np.random.sample((10000,10))).to_csv(encoding='utf8'); print time()-t
1.16
浏览 1提问于2015-06-18得票数 4
回答已采纳
2回答
我想编辑csv (超过500 to )文件。如果我有这样的数据
ID, NUMBER
A, 1
B, 3
C, 4
D, 5
我想增加一些额外的列，比如
ID, NUMBER, DIFF
A, 1, 0
B, 3, 2
C, 4, 1
D, 5, 1
该数据还可以在ScSla数据类型中使用。
(in)Orgin文件-> (Out)(新的Csv文件，文件数据(RDD类型？)
Q1。处理数据的最佳方法是哪一种？
从原始csv文件创建一个新的csv文件，然后将新的csv文件重新打开到scala数据。
首先创建新的scala数据，并将其作为csv文件。
Q2。为此我需要使用“da
浏览 0提问于2016-03-08得票数 2
回答已采纳
我正在编写一个CSV文件，其中包含了英镑和欧元符号的文本，但是当我在Excel中打开该文件时，我看到了一些非常奇怪的行为。我在英镑前看到了一些奇怪的A形符号，用引号代替了欧元符号。我想这可能是因为Excel不喜欢UTF8编码的文件。
fs.writeFileAsync("the-file.csv", text-containing-foreing-currency, "utf8");
有人知道如何在创建文件的同时绕过这个问题吗？我不想让用户在下载文件后用excel做任何事情，我只希望他们能够打开文件，看到正确的符号。
浏览 0提问于2016-07-08得票数 1
回答已采纳
2回答
我正在创建一个应用程序来扫描和合并CSV文件。当将数据写入新文件时，我遇到了问题。其中一个字段的字符将被维护，直到我将其写入新文件。然后，它变成了“实际”价值:圣保罗，而不是“预期”价值：
我怀疑UTF8编码不是最好的使用，但还没有找到一个更好的工作方法。任何帮助，这将是非常感谢！
byte[] nl = new UTF8Encoding(true).GetBytes("\n");
using (FileStream file = File.Create(filepath))
{
string text;
byte[] info;
for (int r = 0; r &l
浏览 9提问于2016-05-05得票数 0
回答已采纳
我正在将不同文件类型的内容提取到csv文件中。我目前正在尝试从文件类型“m”中提取。这是我的提取功能：
def extract_m(f): # f is the file
with open(f, encoding="utf8") as text:
lines = text.read()
lines = cleaning(lines)
return lines
此代码一直工作到文档中的某些特定字符。然后我的程序抛出了UnicodeDecodeError：'utf-8‘编解码器不能解码字节。
在其他一些文件类型中，当我试图
浏览 8提问于2022-07-26得票数 0
在dataframe中，每一列第三列都分配固定的宽度，并将其存储回HDFS，但问题是我没有得到正确的对齐。
这是我的代码：
val hdfs=spark.read.option("header","true").option("inferSchema","true").csv("hdfs://localhost:9000/user/akshathasai/fixedwidth.csv").toDF()
hdfs: org.apache.spark.sql.DataFrame = [Name: string, age
浏览 0提问于2019-01-31得票数 0
1回答
我见过许多针对scala或其他类型文件的解决方案。但如何推断模式，以加载DataFrame，一个csv文件，在python中与pyspark。 df = spark.read.csv('dataset.csv') 如果我检查模式，所有列都是字符串。我可以一列一列地更改，但我想还有更好的方法。
浏览 6提问于2021-04-09得票数 0
我需要使用SFTP服务器上的Mulesoft的SFTP写处理器来存储csv文件。
文件格式: CSV (逗号作为分隔符)，UTF-8带BOM。
在“转换消息”中，我将JSON有效负载转换为应用程序/ csv编码= "UTF-8“
这很好，csv可以在SFTP服务器上以utf-8格式使用。
%dw 2.0
output application/csv encoding="UTF8"
---
payload.data
我的问题是如何将BOM附加到文件中？
浏览 3提问于2021-05-25得票数 1
5回答
我正在读取java中的csv文件，添加包含新信息的新列，然后将其导出回CSV文件。我在读取UTF-8格式的CSV文件时遇到问题。我逐行读取并将其存储在StringBuilder中，但是当我打印该行时，我可以看到我读取的信息不是UTF8格式，而是ANSI格式。我在UTF中使用了System.out.print和printstream，但信息仍然以ANSI语言显示。这是我的代码：
BufferedReader br;
try {
br = new BufferedReader(new InputStreamReader(new FileInputStream(
浏览 0提问于2013-10-01得票数 6
我对python和堆栈溢出很陌生。
我有一个带有csv文件的文件夹，我试图从每个文件中读取字段名，并将它们写入新的csv文件中。
由于堆栈溢出，我能够生成和编辑我的代码，直到unicode错误出现。
我尽了最大的努力解决这个错误并做了研究。
我发现在Mac或Linux中创建的文件具有utf8 unicode，而在windows中创建的文件具有cp949。
因此，我必须通过utf8打开它们。
我的代码最初看起来如下:
import csv
import glob
lst=[]
files=glob.glob('C:/dataset/*.csv')
wi
浏览 7提问于2017-08-01得票数 0
6回答
我正试图在Python熊猫中做一些数据工作，并且很难写出我的结果。我将数据作为CSV文件读取，并导出每个脚本，因为它是自己的CSV文件，工作正常。最近，尽管我尝试将所有东西导出到带有工作表的一个Excel文件中，但是有几个工作表给了我一个错误
"'utf8‘编解码器无法解码位置1中的字节0xe9 :无效的连续字节“
我甚至不知道如何开始找到任何可能导致导出到Excel的问题的字符。但不知道为什么它会向CSV出口，尽管如此：
相关线路
from pandas import ExcelWriter
data = pd.read_csv(input)
writer = ExcelWr
浏览 11提问于2013-09-05得票数 21
回答已采纳
我有很多CSV文件，我希望它们加入到一个txt文件中，binary格式。
下面的代码给出了上述错误：
import os
from csv import reader
from csv import writer
CONST_DATA_DIR = "F:/Data/"
CONST_DATABIN_DIR = "F:/DataBinary/"
def createFilesArr():
filesArr = []
os.chdir(CONST_DATA_DIR)
for file in os.listdir("."):
浏览 1提问于2013-10-20得票数 2
回答已采纳
1回答
我正在从中抓取产品描述信息，并将数据保存到csv文件中。下面是初始化DictWriter的代码
with open('book_data.csv', 'w', newline='', encoding='utf8') as file:
dictWriter = csv.DictWriter(file, fieldnames=['Title', 'Price', 'Rating', 'Description', 'UPC'])
dictW
浏览 7提问于2022-09-29得票数 0
2回答
我正在尝试使用Python将MapInfo .dat文件读取到.csv文件中。到目前为止，我已经找到了最简单的方法是通过xlwing和pandas。
当我这样做时(下面的代码)，我得到了一个基本正确的.csv文件。唯一的问题是，一些列显示为符号/胡言乱语，而不是它们的实际值。我知道这一点，因为我手头也有从MapInfo导出的正确数据。
import xlwings as xw
import pandas as pd
app = xw.App(visible=False)
tracker = app.books.open('./cable.dat')
last_row =
浏览 2提问于2020-11-20得票数 1
我正在用bs4从超文本标记语言中提取一个多语言表格，并将其保存为csv。但是，无论我对编码=utf-8做什么，都会得到一个BOM编写的csv文件的相同结果。在抓取和保存HTML时，有没有什么简单的方法可以使用简单的选项来更改它？(我将utf-8更改为euc-**选项，因为目标网站是用多国语言编写的，但这是徒劳的)
soup=bs(res.text,'html.parser',from_encoding='utf8')
resultset = soup.find('table',class_="type_12345")
浏览 15提问于2020-02-18得票数 0
回答已采纳
1回答
我正在尝试使用Dynamicframe.toDF将胶水动态帧转换成火花数据帧，但我得到了这个异常
回溯(最近一次调用)：文件"/tmp/ManualJOB"，第62行，在df1 =Dataource0.todf()文件DataFrame(self._jdf.toDF(self.glue_ctx._jvm.PythonUtils.toSeq(scala_options))，第147行，在toDF返回DataFrame(self._jdf.toDF(self.glue_ctx._jvm.PythonUtils.toSeq(scala_options))，self.glue_ctx
浏览 3提问于2020-09-15得票数 2
以下代码将csv读取到scala中的dataframe中：
val mDF: DataFrame = spark.read.csv("src/test/resources/knimeMerged.csv")
但是，它将导入数据的第一行视为数据行。实际上，第一行是headers。它使用数据帧的默认标头作为标头(例如，_c0、_c1)
我假设有一个选项允许导入csv文件的头文件，但在Scala API文档中找不到它(我是scala及其文档的新手)。
任何关于选项是什么以及如何实现的提示都将不胜感激
浏览 12提问于2017-08-31得票数 0
回答已采纳
在Scala中将Dataframe写入csv ld时，日期字段被转换为数字，如- 1479740431158000
我尝试了各种方法，但都不起作用
有没有办法让字段以正确的格式写入csv？我使用的是Spark 2.0
scala> tgt.write.format("com.databricks.spark.csv").option("header", "false").option("dateFormat", "MM/dd/yyyy HH:mm:ss").save("/data/mi30/apps.
浏览 4提问于2016-11-24得票数 0
在这篇文章中，概述了如何将内容从.gzip文件中的csv复制到postgresql表中：Importing zipped CSV file into PostgreSQL。 copy tp from program 'zcat /tmp/tp.csv.gz'; 我的问题是，是否还可以转换gzip中csv文件的编码，如invalid byte sequence for encoding "UTF8"所示 所以就像这样： copy tp from program 'iconv -f original_charset -t utf-8 zcat /tmp/t
浏览 65提问于2020-07-04得票数 0
回答已采纳
我收到了错误信息
java.lang.IllegalArgumentException: Schema must be specified when creating a streaming source DataFrame. If some files already exist in the directory, then depending on the file format you may be able to create a static DataFrame on that directory with 'spark.read.load(directory)' a
浏览 18提问于2021-10-17得票数 4
回答已采纳
实际上，我正在尝试流式传输CSV文件。我将编码设置为windows-1252，但它似乎仍然是UTF-8文件。
final String encoding = "windows-1252";
exportResolution = new StreamingResolution(builder.getContentType() + ";charset=" + encoding.toLowerCase()) {
@Override
public void stream(HttpServletResponse response
浏览 1提问于2011-02-02得票数 1
回答已采纳
我正在使用这个脚本来编码地址。脚本运行良好，但是输出文件将特殊字符(如中央区和Athénée )转换为胡言乱语。即
中央区 -> ä¸å¤®åŒº
Athénée -> Athénée
输入文件是保存在excel中的UTF-8 .CSV .脚本使用Pandas来处理数据。我怎样才能支持像上面这样的特殊角色？
完整脚本的代码可以在这里找到：
import pandas as pd
import requests
import logging
import time
#------------------ CONFIGURATION -----
浏览 0提问于2018-09-21得票数 1
回答已采纳
我们在AWS EMR上运行spark 2.3.0。以下DataFrame "df“是非空的，大小适中：
scala> df.count
res0: Long = 4067
下面的代码可以很好地将df编写到hdfs
scala> val hdf = spark.read.parquet("/tmp/topVendors")
hdf: org.apache.spark.sql.DataFrame = [displayName: string, cnt: bigint]
scala> hdf.count
res4: Long = 4067
但是，使用
浏览 0提问于2018-07-30得票数 18
回答已采纳
2回答
在众多的堆栈溢出类似的问题“如何将csv读取到？”中我找不到这个问题。(见最后类似的但不同的问题清单)。
问题中的CSV文件驻留在集群驱动程序的tmp目录中，请注意，这个csv文件是有意不在Databricks DBFS云存储中的。对于导致此问题的用例，使用DBFS将不起作用。
注意，我正试图通过Spark3.2.1和Scala2.12在Databricks运行时10.3上运行。
y_header = ['fruit','color','size','note']
y = [('apple','red
浏览 9提问于2022-03-24得票数 1
回答已采纳
我想写一个用UTF-16LE编码的CSV文件。但是，文件中的输出会变得混乱。有一些看起来奇怪的中文字母：挀攀氀氀⸀㬀挀攀氀氀⸀㈀㬀ഀ。
这看起来像这里提到的单字节问题：
其他关于Perl和Text::CSV_XS的帖子也帮不上忙。
这是我尝试的方法：
#!perl
use strict;
use warnings;
use utf8;
use Text::CSV_XS;
binmode STDOUT, ":utf8";
my $csv = Text::CSV_XS->new({
binary => 1,
sep_char => &
浏览 42提问于2014-11-06得票数 1
回答已采纳
1回答
当试图从.CSV文件读取字符串时，我遇到了一个问题。当我执行应用程序并将文本显示在文本框中时，某些字符(如"é“或"ó”)将显示为问号符号。其思想是，这段代码读取整个CSV文件，然后根据行的第一个单词将每一行拆分为变量。
我用来阅读的代码是：
Dim test() As String
test = IO.File.ReadAllLines("Libro1.csv")
Dim test_chart As String = Array.Find(vls1load, Function(x) (x.StartsWith("sample")))
Dim t
浏览 2提问于2020-04-18得票数 3
回答已采纳
3回答
我知道，通过将compression='gzip'参数传递给pd.to_csv()，我可以将DataFrame保存到压缩的CSV文件中。
my_df.to_csv('my_file_name.csv', compression='gzip')
我还知道，如果我想将DataFrame附加到现有CSV文件的末尾，我可以使用mode='a'，如下所示
my_df.to_csv('my_file_name.csv', mode='a', index=False)
但是，如果我想在压缩的CSV文件的末尾追加一
浏览 10提问于2016-07-29得票数 14
我有一个用UTF32编码的CSV。当我在IE中打开流，用Excel打开时，我可以读取所有内容。在iPad上，我流，我得到一个没有任何内容的空白页面。(我不知道如何在iPad上查看源代码，这样就可以在HTML中隐藏一些东西)。
http响应用asp.net C#编写。
Response.Clear();
Response.Buffer = true;
Response.ContentType = "text/comma-separated-values";
Response.AddHeader("Content-Disposition", "attach
浏览 0提问于2011-06-23得票数 4
回答已采纳
1回答
无法从CSV文件中导入特殊字符
、、、、
我正在尝试将CSV文件导入mysql表。整个数据库都有utf8_unicode_ci编码。CSV文件还具有UTF8编码。但是，当我尝试运行以下代码时，它只显示表中的空白字符，而不是特殊字符：
$query = "LOAD DATA LOCAL INFILE 'mycsvfile.csv' INTO TABLE location_temp
CHARACTER SET UTF8
FIELDS TERMINATED BY ';'
ENCLOSED BY '\"'
浏览 2提问于2015-03-11得票数 2
回答已采纳
1回答
所以我有这个csv，它有像这样的行：
"41975","IT","Catania","2016-01-12T10:57:50+01:00",409.58
"538352","DE","Düsseldorf","2015-12-18T20:50:21+01:00",95.03
"V22211","GB","Nottingham","2015-12-31T11:17:59+00:00",872
在当前示例中，
浏览 14提问于2016-08-04得票数 1
回答已采纳
2回答
我正在使用德语抓取一个站点，我试图使用Perl将站点的内容存储在csv中，但是我在CSV中面临的是垃圾值，我使用的代码是
open my $fh, '>> :encoding(UTF-8)', 'output.csv';
print {$fh} qq|"$title"\n|;
close $fh;
例如:我希望看到魏，R mersandalen，但是我得到了WeiŸ，R¶mersandalen
更新:
代码
use strict;
use warnings;
use utf8;
use WWW::Mechani
浏览 2提问于2013-08-23得票数 3
回答已采纳
1回答
我正在处理这个问题。我有csv文件，它由powershell脚本解析。Powershell创建带有附件的电子邮件，并使用smtp服务器发送它。
问题是，当用户收到电子邮件，打开它，并想打开附件。它是*.csv附件，由Excel打开(尝试过不同的版本)。它显示了损坏的字符集(像ěéáAk一样的字符)。如果我在Notepad++中打开文件，我可以看到格式设置为UTF8，但没有物料清单。如果我使用BOM将其转换为UTF8，excel可以毫无问题地打开它。
我的问题是，我不知道在哪里以及是否可以使用BOM强制创建附件。
字符串数据从csv文件中读取，如下所示：
$reader = [System.IO
浏览 2提问于2015-11-24得票数 1
我想问一下解码通过应用程序接口从Microsoft Azure ML下载的.ilearner文件的问题的解决方案。我收到的错误如下所示：
File "<ipython-input-1-157aac1e9b7a>", line 162, in <module>
invokeBatchExecutionService()
File "<ipython-input-1-157aac1e9b7a>", line 157, in invokeBatchExecutionService
processResults(resu
浏览 11提问于2018-02-01得票数 0
回答已采纳
我在电子病历笔记本上执行了以下PySpark代码：
s3_path = "s3://bucket/key/file.csv"
df = spark.read.csv(s3_path, header=True)
df.repartition(1).write.mode("overwrite").csv(s3_path)
我得到了以下错误：
An error occurred while calling o166.csv.
: org.apache.spark.SparkException: Job aborted.
at org.apache.spark
浏览 12提问于2022-05-09得票数 0
回答已采纳
我已经从scala中的数据集创建了CSV文件。它正在创建CSV文件，但是它是0字节的。 当通过dbutils.fs.head(csv_path)读取时，其给出的错误 "java.lang.IllegalArgumentException:无法指向目录: csv_path“ ```result_dataset.coalesce(1) .write.format("com.databricks.spark.csv") .option(“字符集”，"UTF-8") .option("header"，"true") .optio
浏览 35提问于2020-10-15得票数 0
1回答
我有一些Python代码，其中列出了Github中的拉请求。如果我将解析后的json输出打印到控制台，就会得到预期的结果，但是当我将解析的json输出到csv文件时，结果就不一样了。他们被切断后，第六结果(这是不同的)。
我要做的是每次用最新的输出覆盖csv。
另外，我正在处理unicode输出，我使用了unicodecsv。我不知道这是不是把csv输出抛掉了。
我将用print语句和csv代码列出相关代码的两个实例。
谢谢你的帮助。
import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdou
浏览 2提问于2015-09-08得票数 0
回答已采纳
我的问题类似于和，但更详细地介绍了Scala (2.12.2版)与Groovy (2.4.7版)的不同行为。
我有以下代码片段(正好是有效的Scala和Groovy代码)：
println("└─ ");
println("├─ ");
println(System.getProperty("file.encoding"));
在Windows终端上运行scala解释器(所有cmd、PowerShell、Git Bash / mintty)时，将显示
$ scala a.scala
??
??
Cp1252
但是，通过groovy解释器运行完全相
浏览 2提问于2017-06-09得票数 0
1回答
我对编码问题有点陌生
我有从客户端获得的CSV文件，不知道它是如何编码的
当我试图用mb_convert_encoding( $string，"UTF-8“)或utf8_encode($string)将它们编码到mb_convert_encoding($string，”UTF-8“)或utf8_encode($string)时，我有"é”口音，就像vim或openoffice中的�，当我试图将它们编码到mb_convert_encoding($string，“UTF-8”)或utf8_encode($string)时，我得到了“-5”。
我尝试了一些拉丁文编码(ISO-8859
浏览 2提问于2014-06-26得票数 1
回答已采纳
我有一个UTF-8编码的数据库设置。试图将表复制到csv，其中文件名有一个特殊字符，将文件名错误地写入磁盘。
在Windows 10本地主机PostgreSQL安装上：
copy
(select 'tønder')
to 'C:\temp\Sønderborg.csv' (FORMAT CSV, HEADER TRUE, DELIMITER ';', ENCODING 'UTF8');
命名csv文件: Sønderborg.csv而不是Sønderborg.csv。
两者都有
SHOW CLIENT ENCODING;
S
浏览 4提问于2019-03-05得票数 2
回答已采纳
1回答
我有两个CSV文件(每个大约4 4GB )，我想检查这两个文件条目之间的差异。
假设1.csv中的Row1条目与2.csv的row1不匹配，但与2.csv的第100行相同，则不会显示任何差异。
只有当两个CSV文件中没有相同的条目时，才能看到差异。限制条件是不能使用任何数据库。
我使用dask.Dataframe来输入这个文件，但我没有看到任何api或函数来找出Dask文档中的区别。
我甚至还没有找到将Dask Dataframe转换为Panda Dataframe的方法，也无法将此Dataframe转换为任何文本或CSV文件。
有没有什么解决方案可以比较这么大的文件并找出不同之处。
请找到我
浏览 1提问于2018-01-18得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
