问题导读 1.在url中,如何过滤不需要的内容? 2.如何获取404记录并且获取字段? 3.获取不能访问url列表的思路是什么? about云日志分析实战之清洗日志4:统计网站相关信息 http://www.aboutyun.com/forum.php?mod=viewthread&tid=22900 上篇文章简单的统计了一些信息,下一步希望找到404对应的url。 思路: 1.获取request字段 2.过滤不需要字符 3.实现获取url,并打印输出 1.创建getRequest函数获取request字段
[Scala] 纯文本查看 复制代码
?
// get the `request` field from an access log record
def getRequest(rawAccessLogString: String): Option[String] = {
val accessLogRecordOption = p.parseRecord(rawAccessLogString)
accessLogRecordOption match {
case Some(rec) => Some(rec.request)
case None => None
}
}
2.创建extractUriFromRequest函数
[Scala] 纯文本查看 复制代码
?
// val request = "GET /foo HTTP/1.0"
def extractUriFromRequest(requestField: String) = requestField.split(" ")(1)
这个目的大家可以猜猜它的作用 获取404页面,并且打印出请求的URL.
[Scala] 纯文本查看 复制代码
?
val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404")
.map(getRequest(_))
.collect { case Some(requestField) => requestField }
.map(extractUriFromRequest(_))
.distinct
[Scala] 纯文本查看 复制代码
?
distinctRecs.count
[Scala] 纯文本查看 复制代码
?
distinctRecs.collect().foreach(println(_))
3.获取url
[Scala] 纯文本查看 复制代码
?
val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404")
.map(getRequest(_))
.collect { case Some(requestField) => requestField }
.map(extractUriFromRequest(_))
.distinct
通过上面看,其实挺简单。Scala本身是非常简洁的。 相关说明: 上面看似简单,其实有很多需要说明的 val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)) 上面得出404对应的url.getRequest是上面我们定义的函数 val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct 这里多了distinct是为了去重,下面是直接打印。 distinctRecs.collect().foreach(println(_))。 对于extractUriFromRequest,这个主要为过滤我们不想要的内容。如下面,GET 和HTTP/1.1都不是我们想要的。所以我们取第二个元素即可。
[Bash shell] 纯文本查看 复制代码
?
GET /foo HTTP/1.0
GET /foo HTTP/1.1
知识补充: 对于collect() 函数,是比较常见的,但是对于下面内容,是什么意思。 collect { case Some(requestField) => requestField }这个作用,类似map。 ################## 更多信息: 在Scala中,当我需要对集合的元素进行转换时,自然而然会使用到map方法。而当我们在对tuple类型的集合或者针对Map进行map操作时,通常更倾向于在map方法中使用case语句,这比直接使用_1与_2更加可读。例如:
[Scala] 纯文本查看 复制代码
?
val languageToCount = Map("Scala" -> 10, "Java" -> 20, "Ruby" -> 5)
languageToCount map { case (_, count) => count + 1 }
然而对于上述场景,其实我们也可以使用collect方法:
[Scala] 纯文本查看 复制代码
?
languageToCount collect { case (_, count) => count + 1 }