Scala脚本每天从S3读取数据
Scala脚本每天从S3读取数据
提问于 2018-03-26 07:20:08
有一个java应用程序每天将数据(在csv文件中)转储到s3。此应用程序根据系统日期(MM-DD-YYYY格式)以S3格式创建文件夹，然后将文件添加到创建的文件夹中。
现在，我想每天从S3中读取这些文件，比如
val fileFromS3= sc.textFile("s3a://digital/MM-DD-YYYY/abc.csv")现在，脚本应该用系统日期.取代‘MM-DD-YYYY’。
请提出可能的解决方案或实现这一目标的任何其他方法。
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-03-26 07:33:02
您可以使用Calendar类获得currentTime。
首先，您需要一些进口：
import java.util.Calendar
import java.text.SimpleDateFormat
import java.util.Date然后你就可以得到当前的时间：
val now = Calendar.getInstance().getTime()并准备格式化程序，以适当的格式检索日期，并确保两位数的月和日。
val formatter = new SimpleDateFormat("MM-dd-yyyy")然后，您可以使用格式化程序将日期作为字符串获取。
val dateAsString = formatter.format(now)然后，可以使用dateAsString值使用串内插加载资源。
编辑以删除错误：
val fileFromS3= sc.textFile(s"s3a://digital/${dateAsString}/abc.csv")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49485913
复制相关文章
相似问题
腾讯云开发者
