文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在火花数据帧csv输出和UTF-8-BOM编码中添加特殊字符分隔符

问如何在火花数据帧csv输出和UTF-8-BOM编码中添加特殊字符分隔符
EN

Stack Overflow用户

提问于 2017-10-04 08:27:56

回答 1查看 2.8K关注 0票数 0

我必须将我的星火数据帧输出写入一个csv文件中，该文件中有一个“\^\\”分隔符。我正试着这样做。

df.write.format("csv").option("delimiter", "\\|\\^\\|")

但是越来越少的错误

java.lang.IllegalArgumentException:分隔符的不受支持的特殊字符：

如何添加UTF-8-BOM编码输出文件在默认情况下是UTF-8？

在java中，如果我在文件的开头添加"\uFEFF“，那么文件的编码将更改为UTF-8-BOM。现在，我如何在spark中添加这个字符呢？

另外，如果我使用下面的方法，df.rdd.map(x=>x.mkString("|^|")).saveAsTextFile("dir path to store")

如何根据数据帧中的列对数据进行分区？

csv

apache-spark

spark-dataframe

spark-csv

回答 1

Stack Overflow用户

发布于 2017-10-04 08:50:20

刚把

 df.write.format("csv").option("delimiter","^").csv("dir path to store")

对于多个字符，您可以使用下面的代码

 df.rdd.map(x=>x.mkString("|^|")).saveAsTextFile("dir path to store")

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46569786

复制

Nginx反向代理服务器

nginx 打包 linux http https

1、Nginx做反向代理服务器（反向代理区分与正向代理），可以为反向代理的服务器集群做集群管理和负载均衡。正向代理：对客户端已知，对服务端透明的代理应用，称为正向代理。如：FQ软件。

别先生

2019/07/23

2.3K0

salt远程安装nginx1.18.0

linux nginx

主机linux-001系统已安装salt-master，主机linux-003远程服务器已安装salt-minion

嘻哈记

2021/02/02

9130

C++编译出现: unused variable ‘s32Ret’ [-Werror=unused-variable]

makefile

改写Makefile: 看一下,是否存在-Werror选项. 存在,就去掉. # C_FLAGS += -Wall -Werror -g C_FLAGS += -Wall -g

手撕代码八百里

2022/09/26

8760

codeforces 340 A. The Wall

水水的一道题，只需要找xy的最小公倍数，然后找a b区间有多少个可以被xy的最小公倍数整除的数，就是答案。

xindoo

2021/01/21

3060

memcached基础4

memcached gcc c++

checking build system type... x86_64-unknown-linux-gnu

franket

2022/06/26

3070

判断是否有重复的数字

编程算法

import java.util.Scanner; import java.util.HashMap; public class Main { public static void main(String[] args) { Scanner input = new Scanner(System.in); int m=input.nextInt(); HashMap map=new HashMap(); while(m-->0) { int tmp=input.nextInt(); if(

葆宁

2019/04/18

3.5K0

POJ 1113 Wall 凸包

linux 网站

Once upon a time there was a greedy King who ordered his chief Architect to build a wall around the King’s castle. The King was so greedy, that he would not listen to his Architect’s proposals to build a beautiful brick wall with a perfect shape and nice tall towers. Instead, he ordered to build the wall around the whole castle using the least amount of stone and labor, but demanded that the wall should not come closer to the castle than a certain distance. If the King finds that the Architect has used more resources to build the wall than it was absolutely necessary to satisfy those requirements, then the Architect will loose his head. Moreover, he demanded Architect to introduce at once a plan of the wall listing the exact amount of resources that are needed to build the wall.

全栈程序员站长

2022/07/10

3000

Hack the box_Wall

bash bash 指令 shell http php

大家好，今天给大家带来的CTF挑战靶机是来自hackthebox的“Wall”，hackthebox是一个非常不错的在线实验平台，能帮助你提升渗透测试技能和黑盒测试技能，平台上有很多靶机，从易到难，各个级别的靶机都有。本级靶机难度为简单级别，任务是找到靶机上的user.txt和root.txt。

Khan安全团队

2020/03/10

6320

cuda8+cuDNN Faster R-CNN安装塈运行demo

机器学习

该文介绍了如何使用Faster R-CNN在CPU上进行目标检测，并总结了在实践过程中需要注意的一些关键点。包括使用预训练模型、修改训练脚本、设置合适的训练参数和优化模型等方面。同时，文章还提供了在CPU上运行Faster R-CNN的示例代码和具体操作流程。

10km

2018/01/03

1.5K0

判断有向图是否有圈

c 语言数据结构

1. 拓扑排序拓扑排序是对有向无圈图的顶点的一种排序：如果存在一条vi到vj的路径，则vj排在vi后面（因为只要满足这个特性就是拓扑序列，所以它不一定是唯一的）。比如在众多的大学课程中，有些课有先修课，我们可以将其抽象为拓扑排序，有向边(v, w)表明课程v必须安排在w之前，否则课程w就无法进行。我们可以想象所有的课程以及课与课之间的关系可以用一个图来表示，而拓扑排序就可以知道课程安排的顺序。然而，如果图存在圈，就没有拓扑序列。比如如果要上课程A必须上课程B，要上课程B必须上课程C，而要上课程C必须上课程

llhthinker

2018/01/24

2.9K0

CMake搭建编译环境总结

ide 打包编程算法 gcc https

交叉编译算是每个嵌入式开发者都会经历的一道坎吧，通俗的描述就是搭建Arm板代码编译环境，让代码能够在Arm板子上跑起来。常用到的编译工具为Makefile和CMake，本篇记录下CMake的常用技巧。

开源519

2022/12/01

2.5K0

FastDFS图片服务器(分布式文件系统)学习。

nginx 文件存储单片机

参考：https://blog.csdn.net/hiqingtian/article/details/79413471

别先生

2019/08/13

2.2K0

leetcode554. Brick Wall

linux 编程算法

There is a brick wall in front of you. The wall is rectangular and has several rows of bricks. The bricks have the same height but different width. You want to draw a vertical line from the top to the bottom and cross the least bricks.

眯眯眼的猫头鹰

2020/05/11

4800

靶场练习 | Wall (hack the box)

shell http api bash bash 指令

安全小王子

2020/12/14

6290

Jquery的each(function(){})里：return false相当于break； return ture相当于continue

jquery break function return 函数

在each(function(){})中： return true(return) 相当于continue,跳出当次循环； return false 相当于 break,跳出当前循环。

celineWong7

2023/10/16

2190

判断链表是否有环

存储编程算法

判断一个单向链表是否有环。（指向表头结点的指针为head）方法一：（1）用两个指针p1和p2分别指向表头结点，即p1=p2=head （2）p1和p2分别采用1和2作为步长遍历该链表。（注意，p2应该检查当前结点的下一个结点是否为NULL）（3）如果p1或者p2遇到了NULL，则证明该链表没有环；若p1和p2在某时刻指向同一结点，则说明该链表有环。 bool I***itsLoop(slist * head) { slist * slow = head , * fast = head; while

顶级程序员

2018/04/26

1.7K0

从源码安装ＯpenCV，使用python

gui https python 网络安全

需要的有两个部分：opencv 和opencv_contrib　这两个部分选择相同的版本，opencv_contrib是opencv的扩充．

py3study

2020/01/10

2.3K0

月球相当于北京的几环？

alpha

提出问题整个世界是一个可计算的世界！基于计算机的数学教学理念（CBM）的宗旨是培养学生的计算思维！当听到这首歌时，大家有没有想过，北京的环线有多长？覆盖的地域有多宽？我们是否能根据北京现有环线长度来

WolframChina

2018/05/31

1.3K0

error: include location "/usr/include/" is unsafe for cross-compilation

打包 linux makefile 编程算法 gui

如果不做交叉编译，host指定为当前机器的架构(x86_64-linux-gnu)则编译正常如果设置为mips-linux-gnu进行交叉编译，就报错了：

10km

2019/05/26

3.3K0

Python调用C

https 网络安全 python c 语言

文章作者：Tyan 博客：noahsnail.com | CSDN | 简书

Tyan

2020/03/20

1.8K0

相似问题

警告未被视为错误，-Wall & -Werror在

-Wall -W -Werror的g++标志的含义

在C#中是否有相当于“动态”的锈蚀？

在C++中是否有相当于时钟函数的锈蚀？

相当于gcc/clang的-Wall？

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问如何在火花数据帧csv输出和UTF-8-BOM编码中添加特殊字符分隔符
EN

回答 1

Stack Overflow用户

警告未被视为错误，-Wall & -Werror在

-Wall -W -Werror的g++标志的含义

在C#中是否有相当于“动态”的锈蚀？

在C++中是否有相当于时钟函数的锈蚀？

相当于gcc/clang的-Wall？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在火花数据帧csv输出和UTF-8-BOM编码中添加特殊字符分隔符EN

回答 1

Stack Overflow用户

警告未被视为错误，-Wall & -Werror在

-Wall -W -Werror的g++标志的含义

在C#中是否有相当于“动态”的锈蚀？

在C++中是否有相当于时钟函数的锈蚀？

相当于gcc/clang的-Wall？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在火花数据帧csv输出和UTF-8-BOM编码中添加特殊字符分隔符
EN