CSV加载到Dataframe中，文件名作为pyspark中的附加列

CSV加载到Dataframe中是一种常见的数据处理操作，特别适用于处理结构化数据。CSV（Comma-Separated Values）是一种常见的文件格式，其中数据以逗号分隔，并且每行表示一个数据记录。

在pyspark中，可以使用Spark的DataFrame API来加载CSV文件并将其转换为DataFrame。DataFrame是一种分布式数据集，类似于关系型数据库中的表，可以进行各种数据操作和分析。

以下是加载CSV文件到Dataframe的步骤：

1. 导入必要的库和模块：

from pyspark.sql import SparkSession

1. 创建SparkSession对象：

spark = SparkSession.builder.appName("CSV to Dataframe").getOrCreate()

1. 使用SparkSession的read.csv()方法加载CSV文件：

df = spark.read.csv("path/to/csv/file.csv", header=True, inferSchema=True)

在上述代码中，"path/to/csv/file.csv"是CSV文件的路径。header=True表示第一行是列名，inferSchema=True表示自动推断列的数据类型。

1. 可选：将文件名作为附加列添加到Dataframe中：

from pyspark.sql.functions import input_file_name

df = df.withColumn("filename", input_file_name())

上述代码使用withColumn()方法将一个名为"filename"的新列添加到Dataframe中，该列的值为输入文件的路径。

至此，CSV文件已成功加载到Dataframe中，并且文件名作为了一个附加列。

Dataframe的优势在于其强大的数据处理和分析能力，可以进行各种数据转换、过滤、聚合、排序等操作。它还可以与其他Spark组件（如Spark SQL、Spark Streaming、MLlib等）无缝集成，实现更复杂的数据处理和分析任务。

对于CSV加载到Dataframe的应用场景，它适用于各种需要处理结构化数据的场景，例如数据清洗、数据分析、机器学习等。通过使用Dataframe，可以方便地处理大规模的数据集，并进行复杂的数据操作和分析。

腾讯云提供了一系列与数据处理和分析相关的产品和服务，例如TencentDB、Tencent Analytics等。具体推荐的产品和产品介绍链接地址可以根据实际需求和使用场景进行选择。