AWS glue中的日志记录
我已经创建了一个成功执行的AWS glue作业。但是，我无法将任何自定义日志记录放入作业中。
如何在亚马逊网络服务S3存储桶中创建日志文件，以便跟踪日常作业的执行情况？
目前，当我的作业执行时，它会创建默认日志(即spark日志)，我可以在AWS cloud watch中看到它。在AWS glue中记录事件的最佳实践是什么？
回答 1
Stack Overflow用户
发布于 2018-12-18 05:03:26
最佳实践日志记录
AWS Glue旨在通过CloudWatch (see this documentation for details)进行最佳日志记录。由于您的日志变得太大而无法确定根本原因，而且在CloudWatch中也没有事件可以与@varnit的建议保持一致，因此我们可以做下一个最好的事情:创建一个CloudWatch仪表板，其中包含一个提取日志过滤版本的查询。
创建自定义仪表板
在CloudWatch控制台上，导航到“dashboard”并选择"Create dashboard“。给它起个有意义的名字(例如，"glue-custom-logs")。接下来，我们将添加并配置一个“查询结果”小部件。选择您的日志流，如果您使用默认值，则可能是“/aws- Glue /job/ error”，请注意，如果您使用的是普通的python打印，则Glue默认为错误流。为您的回顾选择一个合理的时间窗口，以便您的结果在某种程度上是预先过滤的。
如果您的自定义日志消息中有唯一标识符，例如"glue- custom - log "，我们现在可以很容易地编写一个查询来过滤结果：
fields @timestamp, @message
| filter @message like 'glue-custom-log'
| sort @timestamp desc保存小部件，保存仪表板，现在您就可以在CloudWatch中轻松访问预先过滤的日志，以满足您的自定义日志记录需求。
https://stackoverflow.com/questions/53609512
复制相似问题