前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Java|Lexer分析报告

Java|Lexer分析报告

作者头像
算法与编程之美
发布2020-06-10 08:55:37
1.1K0
发布2020-06-10 08:55:37
举报
文章被收录于专栏:算法与编程之美

前言

Lexer词法分析器,是将原始字符串转换为有意义的标记的过程。

一、词法标记类型定义

通过定义types变量,定义了普通字符串、运算符、关键字、逻辑运算符等类型。

二、词法分析规则

详情参考rules.js分析报告。

三、实现任务

1.将匹配的元素,结尾的空白字符替换为空。

2.将整段字符串拆分成不同的标记类型,并存在到新的数组中。

四、运行流程图

图1 流程图

五、关键代码展示与解释

rules是一个数组,数组里面是单个对象,然后利用utils的some方法将rules数组里的每一项的regex放进去判断是否满足条件。

macth是一个正则表达式匹配数组,规范化的数组元素的位置由一个条件判断语句决定,如果rule.idx有结果,则将下标值为idx的规范化,如果没有,则将第一个元素规范化。规范化是将字符串的结束位置的空白字符替换为空。

下面的代码是对于repalce的判断,利用了三元运算(?:),必须要前面两个条件都为ture的情况下,才会是选择?后面的语句,其他情况都选择:后面的语句。

hasOwnProperty方法是用于判断对象是否包含括号中的属性,有则返回true,没有则返回false。

简而言之,只要rule里面没有repalce属性,或者rule的replace属性中没有normallized属性,都执行A的代码。如果都满足条件,则执行新的规范化。

return utils.some(rule.regex, function (regex) { var match = str.match(regex) var normalized if (!match) { return } normalized = match[rule.idx || 0].replace(/\s*$/, '') normalized = rule.hasOwnProperty('replace') && rule.replace.hasOwnProperty(normalized) ? rule.replace[normalized] : normalized matched = { match: normalized, type: rule.type, length: match[0].length } return true })

原理是利用while循环,不断截取符合条件的代码,再将截取代码存放到新的数组中(tokens[]),再将已经存放的长度减去,直到offset<str.length的条件不再满足。循环结束。

offset的初始长度是0,该变量表示拆分好的字符串的总长度。str.length是字符串的原始长度。

substr表示新的字符串,substring() 方法用于提取字符串中介于两个指定下标之间的字符。

Match表示每次将新的字符串用reader()函数,返回新的标记对象。

最后,tokens[]用于存放拆分后的字符串。

push() 方法可向数组的末尾添加一个或多个元素,并返回新的长度。

exports.read = function (str) { var offset = 0 var tokens = [] var substr var match while (offset < str.length) { substr = str.substring(offset) match = reader(substr) offset += match.length tokens.push(match) } return tokens }

END

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-06-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 算法与编程之美 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档