在spark 2.1中从textFileStream获取文件名

在Spark 2.1中，可以使用textFileStream从文件流中获取文件名。textFileStream是Spark Streaming中的一个函数，用于监控指定目录下的文件，并将文件内容作为数据流进行处理。

具体步骤如下：

1. 导入必要的Spark Streaming库和相关类：import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.Seconds import org.apache.spark.streaming.dstream.DStream
2. 创建StreamingContext对象：val ssc = new StreamingContext(sparkConf, Seconds(1))
3. 使用textFileStream函数创建DStream对象，指定要监控的目录：val fileStream: DStream[String] = ssc.textFileStream("file:///path/to/directory")其中，"file:///path/to/directory"是要监控的目录路径。
4. 对DStream进行操作，获取文件名：val fileNameStream: DStream[String] = fileStream.transform(rdd => { val fileName = rdd.context.asInstanceOf[org.apache.spark.streaming.StreamingContext].fileStream[String].files.get(0).toString rdd.map(_ => fileName) })通过transform函数，可以在DStream中对每个RDD进行操作。在上述代码中，我们通过rdd.context获取StreamingContext对象，然后使用fileStream函数获取文件流，并通过files.get(0)获取当前RDD中的第一个文件名。
5. 打印文件名：fileNameStream.print()可以使用print函数将文件名打印出来，也可以根据需求进行其他操作。

推荐的腾讯云相关产品和产品介绍链接地址：

• 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
• 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
• 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
• 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
• 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
• 腾讯云移动开发（移动推送、移动分析等）：https://cloud.tencent.com/product/mobile
• 腾讯云数据库（MySQL、Redis等）：https://cloud.tencent.com/product/db
• 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
• 腾讯云视频处理（云点播、云直播等）：https://cloud.tencent.com/product/vod