如何将spark列中的特定单词大写？
在Spark中，可以使用withColumn()方法和upper()函数来将特定单词大写。具体步骤如下：
- 导入所需的库和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, upper- 创建一个SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 读取数据并创建DataFrame：
data = [("Hello world",), ("Welcome to Spark",), ("Big Data is awesome",)]
df = spark.createDataFrame(data, ["sentence"])- 使用
withColumn()方法和upper()函数将特定单词大写：
df_with_uppercase = df.withColumn("sentence_uppercase", upper(col("sentence")))在上述代码中，col("sentence")表示指定要操作的列名为"sentence"，upper(col("sentence"))表示将该列的值转换为大写。
- 查看结果：
df_with_uppercase.show(truncate=False)输出结果：
+---------------------+-------------------+
|sentence |sentence_uppercase |
+---------------------+-------------------+
|Hello world |HELLO WORLD |
|Welcome to Spark |WELCOME TO SPARK |
|Big Data is awesome |BIG DATA IS AWESOME|
+---------------------+-------------------+这样，我们就成功地将Spark列中的特定单词大写了。
备注：腾讯云相关产品和产品介绍链接地址可以根据实际需求选择适合的产品，例如云服务器、云数据库、云存储等。
相关·内容
3回答
我遵循Spark文档中的来计算一系列文档的TF-IDF。Spark使用散列技巧进行此计算，因此在最后你会得到一个包含散列单词和相应权重的Vector，但是...我怎样才能从散列中取回单词？
我真的需要对所有的单词进行散列，并将它们保存在映射中，以便稍后迭代查找关键字吗？有没有更有效的方式内置Spark？
提前感谢
浏览 0提问于2014-11-10得票数 5
1回答
如何将列中每个单词的第一个字母大写？顺便说一下，我正在使用python pandas。例如,
Column1
The apple
the Pear
Green tea
我希望得到的结果是：
Column1
The Apple
The Pear
Green Tea
浏览 0提问于2016-08-25得票数 29
回答已采纳
我在星火2.3.1上使用PySpark在AWS EMR上(Python2.7.14)
spark = SparkSession \
.builder \
.appName("Python Spark SQL data source example") \
.config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") \
.config
浏览 1提问于2018-09-13得票数 4
回答已采纳
我刚刚在Google Chrome内置的拼写检查功能中看到了一些不寻常的行为。在文本框中键入时，此功能会用红色下划线突出显示拼写错误。但我的疑问是，当单词中的所有字母都是小写时，它怎么能在同一个单词下划线，例如- facebook
同样，当我以大写字母输入相同的单词时，该单词不带下划线。
以下是快照：
浏览 2提问于2011-06-01得票数 0
回答已采纳
5回答
如何将单词转换为字符数组？
假设我有一个单词"Pneumonoultramicroscopicsilicovolcanoconiosis“，是的，这是一个单词！我想把这个词赋给它一个数值。
a = 1
b = 2
... z = 26
int alpha = 1;
int Bravo = 2;
基本代码
if (testvalue == "a")
{
Debug.WriteLine("TRUE A was found in the string"); // true
FinalNumber = Alpha + FinalNum
浏览 0提问于2010-12-01得票数 4
3回答
我有一个数据文件，如下所示
temp = spark.createDataFrame([
(0, ['This','is','Spark']),
(1, ['I','wish','Java','could','use','case','classes']),
(2, ['Data','science','is','cool']),
(
浏览 5提问于2022-09-01得票数 1
我在postgresql中找不到像isupper或islower这样的函数。我实际需要的是从一个表中选择所有记录，其中一列包含大写的(但不是大写的)单词。也就是说，每个单词的第一个符号是大写的，第二个是小写的。单词可以用任何语言书写。
浏览 0提问于2012-12-05得票数 12
回答已采纳
我有一个包含单词(没有标点符号)的单列(“字符串”)的数据。我需要计算某个单词的行数(在下面的示例中，单词："problem")出现在这个dataframe中。
首先，我为每个单词创建了一个列，计算了每个单词在每一行中出现的次数，并为"problem“计数了具有正值的行数。那是method1_outcome。
然后，我使用sklearn的内置CountVectorizer对象将相同的数据行转换为稀疏矩阵，并计算对应于"problem“(method2_outcome)的列的正值。
问题是这些值不匹配。两者之间的差别也不小。method2_outcome大于11%
浏览 4提问于2020-08-11得票数 0
回答已采纳
2回答
如何将字符串中的某些字母大写，以便只将指定的单词大写。
必须通过这些测试：“巴拉克·奥巴马”和“麦田里的守望者”==“麦田里的守望者”
到目前为止，我有一个将所有单词大写的方法：
#Capitalizes the first title of every word.
def capitalize(words)
words.split(" ").map {|words| words.capitalize}.join(" ")
end
我可以采取的最有效的下一步是什么来达成解决方案？谢谢!
浏览 2提问于2012-10-29得票数 2
回答已采纳
1回答
我有一个包含一些单词的CSV文件。总共没有。csv文件中的字数不会超过50k条记录。
我有一个从具有keywords列的JSON文件创建的Spark Dataframe。我需要做的是从dataframe中过滤出其keywords列值与CSV文件中的值匹配的记录。这里，匹配表示csv文件中的单词是否出现在dataframe列中。
举个例子，假设csv文件中有一个单词"baby toys"，spark dataframe看起来像这样
***Keywords***
new baby toys
baby toys for all
costly baby toys price
baby
浏览 2提问于2019-05-31得票数 0
我有一个spark数据框，其中的" text“列有一些文本。我想要计算出现各种单词的行数-本质上是出现“术语”的“文档”的数量-以及相关的计数，如最频繁的单词，具有最频繁单词的行(或称为文档)。 我正在使用来自pyspark.ml.feature的HashingTF。但是似乎找不到一种有效的方法来从输出中提取这些信息。 # As an example create a Pandas-df
import pandas as pd
pandas_df = pd.DataFrame({"text": ["The cat jumped over the lazy do
浏览 25提问于2021-08-31得票数 0
回答已采纳
我正在编写一个程序，它需要从用户那里读取一个字符串，并从输入中创建两个单词列表。一个包含至少一个大写字母的单词和一个不包含大写字母的单词。使用单个for循环打印带有大写字母的单词，后面跟着没有大写字母的单词，每行一个单词。
到目前为止我已经知道了：
"""Simple program to list the words of a string."""
s = input("Enter your string: ")
words = s.strip().split()
for word in words:
print(wo
浏览 5提问于2014-08-18得票数 0
回答已采纳
问题很简单，但我有点像Scala新手。我有以下数据：
scala> output.printSchema
root
|-- sen: string (nullable = true)
|-- words: array (nullable = true)
| |-- element: string (containsNull = true)
|-- lemma: array (nullable = true)
| |-- element: string (containsNull = true)
|-- pos: array (nullable = true)
|
浏览 1提问于2017-02-15得票数 0
2回答
由于我正在处理大量数据，我如何将这两个for循环合并到列表理解中。此函数的目的是查找给定字符串中的大写单词数。给定的数据是一个电子邮件文本列表，这应该返回一个数字列表(这些数字是每个电子邮件主题中大写的单词数)。
def get_capital_prop(data):
total_capitals = []
temp = 0
for i in range(len(data)):
count = 0
for word in data[i]:
count += sum(1 for c in word if c.isu
浏览 0提问于2018-05-01得票数 1
2回答
我有英文和德文的课文，里面有“字典词”和名字。
例如“.在佛罗伦萨，画家莱昂纳多建造了.”
我有一个Java程序，其中需要确定每个单词是名称还是相应语言的单词。
例如names={.，佛罗伦萨，莱昂纳多，.}，语言words={.，在，画家，建造，.}
我看到两种方法：
使用相应的字典列表，将其加载到散列结构中，查看单词是否在其中(语言单词)是否(名称/拼写错误)。
问题/问题：
我找不到一个排除名字的德语单词列表
单词的灵活性(在德语中很复杂)可能不在列表中
使用服务/ api将单个单词翻译成另一种语言，查看该单词是否被更改(语言单词)(名称/拼写错误)。
问题/问题
浏览 0提问于2013-03-14得票数 1
2回答
我正在尝试通过比较两列来自动分析列表，以查看它们是否包含相同的单词，例如： ? 我想检查B列中的单词，并检查它们是否存在于C列中，然后返回一个简单的TRUE或FALSE。 我已经尽我所能，真的很感谢你的帮助！
浏览 29提问于2021-02-09得票数 1
回答已采纳
2回答
我在解释tr --help时遇到了困难。
我知道
tr [:lower:] [:upper:] <inputfile
将文件中的所有字符转换为大写
如何将单个单词转换为大写？
我并不局限于使用tr。我正在寻找一种方法来扫描一个文件(或输入)的设定序列的字母，然后一旦它找到一个匹配，把他们变成大写字母。
浏览 1提问于2013-11-13得票数 0
我试图在vba代码中读取字符串的基础上用粗体显示特定的单词。我的字符串在读到vba，现在想挑选一个或多个单词，以粗体他们。
如果在vba代码中读到以下内容:男孩沿着街道跑去。
在上面的句子中，如果我只想用单词男孩，我会用什么代码呢？如果我想用这个词“男孩”和“男孩”，我会用些什么呢？
我尝试过以下代码，但不知道如何将其修改为我的特定情况。
总之，我想要的代码将读取一个字符串，搜索该字符串的x字数，和粗体说的话，以后导出。
如果你需要更多的细节和我想要完成的事情，请告诉我。
浏览 1提问于2019-09-28得票数 1
回答已采纳
9回答
我已经找到了如何将句子中的所有单词大写，但不仅仅是第一个单词。
NSString *txt =@"hi my friends!"
[txt capitalizedString];
我不想更改为小写并将第一个字符大写。我只想将第一个单词大写，而不更改其他单词。
浏览 0提问于2010-03-12得票数 34
回答已采纳
2回答
我需要在Snowflake中的SQL qwery中大写某些单词的第一个字母。
我目前正在使用这个函数：
SELECT ...
case when FLAG1 is null then upper(FLAG2) else FLAG1 END as STATUS,
...;
但是，UPPER()函数会将我的所有FLAG2单词全部大写。有谁知道如何将Snowflake中单词的第一个字母大写？
浏览 21提问于2021-03-12得票数 1
回答已采纳
我在一个电子表格上工作，其中包含一个带有产品描述的列。有些描述包含全部用大写字母书写的单词，但它们不应该是大写的。有没有什么筛选器可以用来查找所有大写单词的单元格？谢谢。
浏览 5提问于2016-07-27得票数 1
我正在尝试计算Apache Spark中的配置单元表统计数据：
`sqlCtx.sql('ANALYZE TABLE t1 COMPUTE STATISTICS')`
我还执行语句来查看收集到的内容：
sqlCtx.sql('DESC FORMATTED t1')
我可以看到我的数据是被收集的。但是，当我在HIVE client (Ambari)中执行相同的staement时，没有显示任何统计数据。如果它是由Spark收集的，它只对Spark可用吗？spark会把它存储在其他地方吗？
另一个问题。
我还计算了该表中所有列的统计数据：
sqlCtx.sql(
浏览 2提问于2018-04-14得票数 1
假数据：
如何在python中编写以下各列？
UpperCaseWords:每行中大写单词的总和
大写单词的百分比:全部为大写的文本百分比
浏览 6提问于2020-11-14得票数 1
如何将整个文件中的单词移动或移动到指定的列？示例如下:之前：
123 ABC
112 XYZS
15925 asdf
1111 25asd
1 qwer
之后：
123 ABC
112 XYZS
15925 asdf
1111 25asd
1 qwer
如何使用命令模式来完成此操作？这里我们需要将第二个单词移到指定的列，这里指定的列是8
浏览 0提问于2014-04-22得票数 2
我有两个任务要做。
1)我必须提取任何包含发票数据的CVS文件的头部。具体地说:发票号码、地址、地点、实物。我被要求为这个任务创建一个文本分类器，因此分类器将遍历任何CVS文件并识别这4个头文件。
2)在分类器识别了4个单词之后，我必须找到并附加该列的数据并创建一个类。
我对这个问题进行了研究，我认为必须采用的三种方法是:1)糟糕的词2)词嵌入3)K均值聚类
词袋可以识别单词，但它不会给我单词本身的位置，去抓取列并创建类。
Word embedded对于这个任务来说太复杂了，我认为，即使告诉我单词在文件中的位置对于这个任务来说也太耗时了
K-means看起来简单而有效，它告诉我单词在哪里。
在
浏览 3提问于2019-03-19得票数 0
3回答
如果这看起来真的很简单，我不是PHP开发人员。
好的，这将向您展示如何大写字符串中的每个单词
但是，如何将其合并到被回显的多个字符串中呢？
例如，我有
<?php echo $prefillTitle, ' ', $prefillFirstname, ' ', $prefillLastname; ?>
如何使用ucwords()确保每个参数与其第一个字母大写相呼应。事情会这么简单吗？
<?php echo ucwords($prefillTitle, ' ', $prefillFirstname, ' ', $
浏览 0提问于2013-11-26得票数 0
我正在创建一个结构如下的菲尼克斯表
CREATE TABLE IF NOT EXISTS "TEST1"(
"slhdr" VARCHAR(100),
"totmins" INTEGER,
"totslrcds" INTEGER,
"tottime" INTEGER, CONSTRAINT pk PRIMARY KEY ("sleepelement")
);
现在，通过从另一个dataframe中选择特定列，我已经从JSON数据中创建了一个dataframe。下面是此数据thi
浏览 0提问于2019-01-08得票数 0
回答已采纳
1回答
我在一个表中有一个地址列，如下所示 >>> spark.sql("select add1 from test").show(10,False)
+---------------------------+
|add1 |
+---------------------------+
|PO BOX 1111DUBAI UAE |
|P.O. BOX 2222DUBAI - U.A.E|
+---------------------------+ 我必须匹配一组单词，并将它们从列中删除，以便进行比较 我可以
浏览 3提问于2020-08-27得票数 0
回答已采纳
1回答
使用泛型作为输入类型？
、、、、
我想编写Spark，其中列的类型可以是定义了Scala数字的任何类型的列。我在网上搜索过，但只找到了一些具体类型的例子，比如DoubleType、LongType。这不可能吗？但是，那么如何将UDAF与其他数值一起使用呢？
浏览 1提问于2017-04-06得票数 2
回答已采纳
如何在运行时通过复制mxColumn.itemRenderer来设置sparkColumn.itemRenderer？
我有一个使用mx:DataGrid、mx:AdvancedDataGrid和s:DataGrid的应用程序。
我们正在使用mx:PrintDataGrid和mx:PrintAdvancedDataGrid实现“打印”功能。
我们将可打印的dataGrid的列设置为要打印的dataGrid的列，如下所示：
printDataGrid.columns = targetDataGrid.columns；//或者
printAdvancedDataGrid.columns = tar
浏览 2提问于2012-10-23得票数 2
1回答
我是Spark的新手。我正在尝试用java实现spark程序。我只想从一个文件夹中读取多个文件，并通过将其单词@filname作为键和值(Count)组合在一起。
我不知道如何将所有数据组合在一起。我希望输出像配对一样(word@filname,1)
例如：(happy@file1,2) (newyear@file1,1) (newyear@file2,1)
浏览 11提问于2018-02-06得票数 0
我有一个有bigint列的Dataframe。如何将bigint列转换为scala spark中的时间戳
浏览 1提问于2019-07-23得票数 4
回答已采纳
我想返回所有以字母或数字开头和结尾的单词。它们最多可能包含一个时期的.或-在单词中。因此，ab.ab是有效的，但ab.是无效的。
import re
reg = r"[\d\w]+([-.][\d\w]+)?"
s = "sample text"
print(re.findall(reg, s))
因为括号，它不起作用。如何将?应用于[-.][\d\w]+的组合
浏览 0提问于2018-09-30得票数 0
回答已采纳
1回答
例如，当应用程序启动和长时间运行时，接收一个单词"Spark"，然后在结果表中有一行(Spark,1)，
在应用程序运行1天甚至一周之后，应用程序再次收到"Spark"，因此结果表应该有一行(spark,2)。
我只是使用上面的场景来提出一个问题:无界表如何保持它接收到的数据的状态，因为在应用程序运行了很长时间之后，状态可能是超级巨大的。
此外，当使用"Complete"输出模式时，如果结果表非常大，则将结果表中的所有数据写入接收器将花费很大的时间。
浏览 1提问于2017-11-08得票数 3
回答已采纳
目前，我很难将txt文档上的单词与regex分隔成一个列表，我尝试过".split“和".readlines”--我的文档由诸如"HelloPleaseHelpMeUnderstand“之类的单词组成--单词是大写的，但没有空格，所以我不知道如何将它们放到列表中。这是我目前拥有的，但它只返回一个单词。
import re
file1 = open("file.txt","r")
strData = file1.readline()
listWords = re.findall(r"[A-Za-z]+", strData)
浏览 1提问于2018-11-03得票数 2
回答已采纳
我有一个Spark dataframe，其中包含一个列，其中包含部分行的重复单词： id source_value
1 Peter, Julia, Peter, Michael
2 NULL
3 Michael, Sara, Michael
4 John 我需要创建一个列，其中将排除每行中重复的单词： id result_value
1 Peter, Julia, Michael
2 NULL
3 Michael, Sara
4 John 使用PySpark实现这一点的最佳方法是什么？
浏览 17提问于2021-08-22得票数 0
回答已采纳
我一直在研究Java中关于大写单词的一大堆问题中的所有StackOverflow，其中似乎没有一个最不关心国际化，事实上，似乎没有一个在国际环境中真正有效。所以这是我的问题。
我有一个用java语言编写的字符串，它代表一个单词-所有的isLetter()字符，没有空格。我想让第一个字符大写，剩下的字符小写。我手头确实有我的单词所在的位置。
在字符串的最后部分调用.substring(1).toLowerCase(Locale)非常简单。不过，我不知道如何获得正确的第一个字符。
我遇到的第一个问题是荷兰语，其中"ij“是一个有向图，应该一起大写。我可以手动处理这种特殊情况，因为我知道它；
浏览 1提问于2011-09-09得票数 30
回答已采纳
我有一个完全大写的字符串。我只需要大写的单词的第一个字母，小写的单词的第一个字母。例如:已计入公司计划。我希望它是“已经在公司计划中开具帐单”。如何将其转换为Reactjs？但实际上字符串是在一个数组中，这个数组中的字符串。我想转换该数组中的每个字符串。
浏览 78提问于2019-10-21得票数 0
我有一个包含地址的电子表格。城市以大写形式显示，但是，城市可以出现在5列中的任何一列上。我想创建一个公式，将搜索行中的5列，并返回城市，其中整个单词在大写。
我已经搜索了这个网站和其他网站，我只能找到代码，这将分裂出以大写字母开头的单词。
浏览 0提问于2019-08-19得票数 0
3回答
正如标题所述，给定任意数量任意长度的单词的列，希望有一个ArrayFormula来获取该列中所有单词的第一个字母。
我试过两种方法，见样品单。
使用SPLIT和ARRAYFORMULA可以获得一个单元格，但不能向下扩展列。
使用2 REGEXEXTRACT，可以得到前2个首字母并向下扩展。
但是，是否可以使用ArrayFormula为整个列获取任意数量的单词？
是否可以使用REGEXEXTRACT返回许多单词的第一个字母？
我也想放一个“。”在首字母之后。让埃德·威廉姆斯成为E.W.的例子？
浏览 1提问于2019-06-20得票数 1
我们有一个PostgreSQL表，其中一列包含UUID。如何将Spark dataset(使用Java)中的UUID字段发送到PostgreSQL DB。在org.apache.spark.sql.types.DataTypes中找不到uuid字段。
敬请指教。
浏览 2提问于2017-11-19得票数 7
2回答
我试图在列中得到所有唯一的值，其中包含一个特定的词，
例如，如果我想要找到所有值，其中包含单词bird，不管大写字母是否大写，我如何筛选它？
df.animal.unique()会给我列中所有唯一的值，但我只想要那些在字符串或名称中有鸟的值，如果这有意义的话，谢谢！
DF
| Animal |
Eagle Bird
PigeonBird
Whale Fish
Dolphinfish
peacockbird
hawkBird
Falc Bird
浏览 5提问于2020-02-25得票数 0
回答已采纳
我尝试从cassandra表中读取数据并将值存储在数组中。我的RDD如下所示
列: CassandraRDD.scala:15的RDD中的com.datastax.spark.connector.rdd.CassandraTableScanRDDcom.datastax.spark.connector.CassandraRow = CassandraTableScanRDD3
如何将这些值存储到没有列名的数组中？
浏览 0提问于2015-11-06得票数 0
我有一个包含值字符串的列，如下所示
a=["iam best in the world" "you are awesome" ,"Iam Good"]
我需要检查字符串中每个单词的哪些行是小写的，并用空格分隔。
我知道如何将它们转换为分隔的上部和空间，但我需要找到哪些行是小写的&空格分隔的。
我试过用
grepl("\\b([a-z])\\s([a-z])\\b",aa, perl = TRUE)
浏览 0提问于2019-07-03得票数 1
回答已采纳
1回答
使用Spark标记文本内容？
、、、、
我致力于实现一项要求，即使用apache和mongodb为文档创建一个单词字典。
在我的场景中，我有一个mongo集合，其中每个文档都有一些文本类型字段以及一个文档所有者的字段。
我希望解析集合文档中的文本内容，并创建一个字典，将单词映射到文档和所有者字段。基本上，键将是一个word，值将是_id和owner字段。
这样做的目的是根据用户的文档在用户界面中输入文本框时提供特定于用户的自动建议。用户可以创建多个文档，一个单词可以包含在多个文档中，但只有一个用户能够创建文档。
我使用了mongo火花连接器，并且能够使用spark将集合文档加载到数据框架中。
我不知道如何处理文本数据，这是在其中一个
浏览 0提问于2017-05-07得票数 0
1回答
我是Spark和Scala的新手。我做了Spark流媒体的工作--twitter上流行的散列标签。
我为一些单词添加了过滤器，并能够过滤掉tweet：
val filter = Array("spark", "Big Data")
val stream = TwitterUtils.createStream(ssc, None, filter)
同样，我想添加一个语言过滤器，以便只有英语推文是流。Twitter4j有Track()和Locations。它有语言过滤器吗？如果是这样，它在Scala中是如何工作的？
浏览 2提问于2015-06-24得票数 0
我需要的是：
匹配所有大写WORDS
将所有单词与第一个字母Capital匹配
将所有单词与字母之间的大写单词和点匹配，如F.M.I
将这个字母áéíóúÁÉÍÓÚÑñ包含在一个成功点1,2,3的单词中
排除带有首字母大写的单词列表，如：En La El Los Ese
排除所有字母大写的单词列表，如SALUD
浏览 3提问于2013-03-21得票数 0
我正在尝试制作一个自动更正系统，当用户键入一个包含大写字母的单词时，自动更正不起作用。为了解决这个问题，我复制了输入的字符串，应用.lowercaseString，然后对它们进行比较。如果字符串确实打错了，它应该纠正这个单词。然而，替换键入的单词的单词都是小写的。因此，我只需要将.uppercaseString应用于第一个字母。我原本以为我可以用
nameOfString[0]
但这显然行不通。如何将字符串的第一个字母变为大写，然后才能打印出第一个字母大写的完整字符串？
谢谢你的帮助！
浏览 132提问于2014-10-11得票数 259
回答已采纳
我有一个DataFrame，列text包含一个字符串(或Null)。
如果列text中单词的长度为>= 6和<= 11，那么我想将其与word_list匹配。
如果一个单词匹配，那么这就是新列match的值
import pyspark.sql.functions as F
df = spark.createDataFrame([
["This is line one"],
["This is line two"],
["bla coroner foo bar"],
["This is line three"],
[
浏览 4提问于2021-03-04得票数 1
回答已采纳
1回答
我有以下命令，
data = sqlContext.sql("select column1, column2, column3 from table_name")
words = sc.textFile("words.txt")
words.txt有一堆单词，数据有三个字符串列来自table_name。
现在，每当words.txt中的每个单词的单词模式出现在数据的三列中的任何一列时，我都想过滤掉数据中的行(spark )。
例如，如果words.txt有单词(如gon )，如果三列数据中的任何一列包含bygone、gone等值，则我希望筛选出该行。
我试过以
浏览 9提问于2016-08-21得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
