scala-sparkML学习笔记：迁移文件/ 通过 .!! 隐式方法直接执行系统命令

MachineLP

发布于 2019-11-14 17:02:09

3870

发布于 2019-11-14 17:02:09

文章被收录于专栏：小鹏的专栏

本文链接：https://cloud.tencent.com/developer/article/1539117

Scala作为script使用也是非常的方便。

原文地址：https://www.yangbajing.me/2019/03/22/scala实战：迁移文件/

主要指令：（将./nohup.out重命名为machinelp.out）

import scala.sys.process._

s"mv ./nohup.out machinelp.out".!!

前因

最近因为线上文件越来越多，导致磁盘不够用。需要将磁盘上数据迁移到一块新的磁盘上（不用问为啥没用云存储，因为用了的话就不会有这篇文章了）。迁移数据时遇到几个问题：

迁移过程中服务不能中断
因为磁盘文件较大，文件移动耗费时间较长……等copy完的话再重新挂载磁盘会造成移动时间这段时间内新上传文件丢失

终上，我想到一个一个子目录的进行迁移，在迁移完后再将新目录做一个符号连接回原地址。这样在完成整体迁移之前若有新文件上传，文件将通过符号连接最终存储到新的磁盘上。

实现

所用Scala script代码如下：

import java.nio.file.{Files, Path, Paths}
import java.time.{Duration, Instant}

import scala.sys.process._

if (args.length != 2) {
  println("""请输入参数：scala MoveDir.scala <src_dir> <dest_dir>""")
}

// 从命令行参数中函数“解构”直接获得源目录和目的目录
val Array(srcDir, distDir) = args

val IGNORE_NAMES = Set("s1")

def ignoreDirectories(dir: Path) = {
  val name = dir.getName(dir.getNameCount - 1).toString
  IGNORE_NAMES(name) || name.length != 2
}

Files
  .list(Paths.get(srcDir))
  .forEach { // 模式匹配
    case dir: Path if !Files.isDirectory(dir) || Files.isSymbolicLink(dir) =>
      println(s"$dir 不是目录或为符号链接")
    case dir: Path if ignoreDirectories(dir) =>
      println(s"强制忽略目录：$dir")
    case dir: Path =>
      val name = dir.getName(dir.getNameCount - 1).toString
      val target = s"$distDir/$name"
      val start = Instant.now()
      try {
        // 通过 .!! 隐式方法直接执行系统命令
        s"mv $dir $target".!!
        s"ln -sf $target $srcDir/$name".!!
        
        val cost = Duration.between(start, Instant.now())
        println(s"移动目录成功，耗时$cost；$dir --> $target")
      } catch {
        case e: Throwable =>
          val cost = Duration.between(start, Instant.now())
          System.err.println(s"移动目录失败，耗时$cost；$dir --> $target。${e.toString}")
      }
  }

脚本执行后的部分输出如下：

$ scala MoveDir.scala /home/upload /data
移动目录成功，耗时PT0.012S；/home/upload/d4 --> /data/d4
移动目录成功，耗时PT0.002S；/home/upload/ba --> /data/ba
移动目录成功，耗时PT0.002S；/home/upload/fd --> /data/fd
移动目录成功，耗时PT0.002S；/home/upload/7e --> /data/7e
移动目录成功，耗时PT0.002S；/home/upload/b7 --> /data/b7
移动目录成功，耗时PT0.003S；/home/upload/76 --> /data/76
移动目录成功，耗时PT0.002S；/home/upload/43 --> /data/43
强制忽略目录：/home/upload/hongka-tmp
移动目录成功，耗时PT0.001S；/home/upload/df --> /data/df
/home/upload/logo.jpg 不是目录或为符号链接
移动目录成功，耗时PT0.001S；/home/upload/85 --> /data/85
移动目录成功，耗时PT0.001S；/home/upload/f0 --> /data/f0
......