在spark中解压缩hdfs中的文件

import org.apache.hadoop.fs.{FileSystem, Path}
import java.util.zip.ZipInputStream

// 获取HDFS文件系统实例
val fs = FileSystem.get(sparkContext.hadoopConfiguration)

// 打开要解压缩的文件
val inputFile = new Path("hdfs://<HDFS路径>/input.zip")
val inputStream = fs.open(inputFile)

// 创建ZipInputStream对象
val zipInputStream = new ZipInputStream(inputStream)

// 逐个解压缩文件条目
var entry = zipInputStream.getNextEntry()
while (entry != null) {
  val entryName = entry.getName()
  val outputFileName = s"hdfs://<HDFS路径>/$entryName"

  // 创建输出文件
  val outputFile = new Path(outputFileName)
  val outputStream = fs.create(outputFile)

  // 读取并写入解压缩后的文件内容
  val buffer = new Array[Byte](1024)
  var len = zipInputStream.read(buffer)
  while (len > 0) {
    outputStream.write(buffer, 0, len)
    len = zipInputStream.read(buffer)
  }

  // 关闭输出流
  outputStream.close()

  // 获取下一个条目
  entry = zipInputStream.getNextEntry()
}

// 关闭ZipInputStream
zipInputStream.close()