专栏首页网管叨bi叨上次的问题解决啦,重新送上Go ORM 单元测试全流程讲解

上次的问题解决啦,重新送上Go ORM 单元测试全流程讲解

从上次发文说起

在上次发布的文章《在项目里怎么给 GORM 做单元测试》中对 ORM 的 Update 操作的测试中,因为 ORM 库每次做更新操作时,都会针对updated_at字段进行自动更新,导致我们在写Mock的时候没办法精致匹配这个字段的值,这个问题也就作为一个未解决的问题在文章中发布了出去。

没想到上一周在CSDN上一位读者的留言给了这个问题解决的思路,因为微信不允许更改发布的文章,只能重开一篇文章把这个遗留问题加以解决,至此也算是一个 ORM Mock 单元测试的完整教程了,对前文有印象的读者朋友,请直接跳到文章后半部分进行观看

前言

真实的开发场景下我们的项目一般都会使用 ORM ,而不是原生的database/sql来完成数据库操作。在很多使用ORM工具的场景下,也可以使用go-sqlmock库 Mock数据库操作进行测试,今天这篇内容我就以 GORM 为例,讲解怎么给项目中的 ORM 数据库操作做单元测试。

项目准备

为了场景足够真实,我用 2020 年我更新的 「Go Web 编程」项目中的例子给大家演示怎么为使用了 GORM 的 DAO 层逻辑做 Mock 测试。

这里使用的GORM版本为 1.x,有可能在2.x版本下不兼容

在这个例子中我们有一个与 users 表

type User struct {
 Id        int64     `gorm:"column:id;primary_key"`
 UserName  string    `gorm:"column:username"`
 Secret    string    `gorm:"column:secret;type:varchar(1000)"`
 CreatedAt time.Time `gorm:"column:created_at"`
 UpdatedAt time.Time `gorm:"column:updated_at"`
}

func (m *User) TableName() string {
 return "users"
}

以及几个使用 User 的 DAO 函数:

var _DB *gorm.DB

func DB() *gorm.DB {
 return _DB
}

func init() {
  //这里逻辑省略,就是初始化 GORM 的DB对象,
  // 设置连接数据库的配置
  // 真实代码可以公众号回复【gohttp15】获得
 _DB = initDB() 
}

func CreateUser(user *table.User) (err error) {
 err = DB().Create(user).Error

 return
}

func GetUserByNameAndPassword(name, password string) (user *table.User, err error) {
 user = new(table.User)
 err = DB().Where("username = ? AND secret = ?", name, password).
  First(&user).Error

 return
}

func UpdateUserNameById(userName string, userId int64) (err error) {
 user := new(table.User)
 updated := map[string]interface{}{
  "username": userName,
 }
 err = DB().Model(user).Where("id = ?", userId).Updates(updated).Error
 return
}

接下来我们就用 go-sqlmock 工具给这几个 DAO 函数做一下 Mock 测试。

初始化测试工作

首先我们需要做一下测试的初始化工作,主要是设置Mock的DB连接,因为要给三个方法做Mock测试,最简单的办法是在三个方法里每次都初始化一遍 Mock 的 DB 连接,不过这么做实在是显得有点蠢,这里给大家再介绍一个小技巧。

Go 的测试支持在包内优先执行一个 TestMain(m *testing.M) 函数,可以在这里为 package 下所有测试做一些初始化的工作。

下面是我们为本次测试做的初始化工作。

// 给公众号「网管叨bi叨」发私信
// gohttp15 获得源码
var (
 mock sqlmock.Sqlmock
 err  error
 db   *sql.DB
)
// TestMain是在当前package下,最先运行的一个函数,常用于初始化
func TestMain(m *testing.M) {
  //把匹配器设置成相等匹配器,不设置默认使用正则匹配
 db, mock, err = sqlmock.New(sqlmock.QueryMatcherOption(sqlmock.QueryMatcherEqual))
 if err != nil {

  panic(err)
 }
 _DB, err = gorm.Open("mysql", db)

 // m.Run 是调用包下面各个Test函数的入口
 os.Exit(m.Run())
}
  • 在这个初始化函数里我们创建一个 sqlmock 的数据库连接 dbmock对象,mock对象管理 db 预期要执行的SQL。
  • 让sqlmock 使用 QueryMatcherEqual 匹配器,该匹配器把mock.ExpectQuery 和 mock.ExpectExec 的参数作为预期要执行的SQL语句跟实际要执行的SQL进行相等比较。
  • m.Run 是调用包下面各个Test函数的入口。

准备工作做好了,下面正式对 DAO 操作进行Mock测试。

对Create进行Mock测试

首先对 GORM 的Create 方法进行Mock测试。

// 给公众号「网管叨bi叨」发私信
// gohttp15 获得源码
func TestCreateUserMock(t *testing.T) {
 user := &table.User{
  UserName:  "Kevin",
  Secret:    "123456",
  CreatedAt: time.Now(),
  UpdatedAt: time.Now(),
 }
 mock.ExpectBegin()
 mock.ExpectExec("INSERT INTO `users` (`username`,`secret`,`created_at`,`updated_at`) VALUES (?,?,?,?)").
  WithArgs(user.UserName, user.Secret, user.CreatedAt, user.UpdatedAt).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()
 err := CreateUser(user)
 assert.Nil(t, err)

}

因为 sqlmock 使用的是 QueryMatcherEqual 匹配器,所以,预期会执行的 SQL 语句必须精确匹配要执行的SQL(包括符号和空格)。

这个SQL怎么获取呢?其实我们先随便写一个SQL,执行一次测试,在报错信息里就会告知CreateUser操作在写表时 GORM 真正要执行的 SQL 啦, 也可以通过GORM提供的Debug()方法获取到。

比如运行一下下面这个设置了Debug()的创建用户操作,GORM就会打印出执行的语句。

func CreateUser(user *table.User) (err error) {
 // 打印出要执行的SQL语句 ,记得改回去
  err = DB().Debug().Create(user).Error
 // err = DB().Create(user).Error

 return
}

我们执行下这个测试

 go test -v -run TestCreateUserMock

--------
=== RUN   TestCreateUserMock
--- PASS: TestCreateUserMock (0.00s)
PASS
ok      golang-unit-test-demo/sqlmock_gorm_demo 0.301s

可以看到,测试函数执行成功,我们还可以故意把SQL改成,做一下反向测试,这个就留给你们自己联系啦,结合上表格测试分别做一下正向和反向单元测试。

Get 操作的Mock测试

GORM 的查询操作的Mock测试跟Create类似。

// 给公众号「网管叨bi叨」发私信
// gohttp15 获得源码
func TestGetUserByNameAndPasswordMock(t *testing.T) {
 user := &User{
  Id:        1,
  UserName:  "Kevin",
  Secret:    "123456",
  CreatedAt: time.Now(),
  UpdatedAt: time.Now(),
 }

 mock.ExpectQuery("SELECT * FROM `users`  WHERE (username = ? AND secret = ?) "+
  "ORDER BY `users`.`id` ASC LIMIT 1").
  WithArgs(user.UserName, user.Secret).
  WillReturnRows(
   // 这里要跟结果集包含的列匹配,因为查询是 SELECT * 所以表的字段都要列出来
   sqlmock.NewRows([]string{"id", "username", "secret", "created_at", "updated_at"}).
    AddRow(1, user.UserName, user.Secret, user.CreatedAt, user.UpdatedAt))
 res, err := GetUserByNameAndPassword(user.UserName, user.Secret)
 assert.Nil(t, err)
 assert.Equal(t, user, res)
}

这里就不在文章里运行演示啦,有兴趣的自己把代码拿下来试一下。

Update 操作的Mock测试

GORM的Update操作的单元测试,一开始是这样写的:

func TestUpdateUserNameByIdMock(t *testing.T) {
 newName := "Kev"
 var userId int64 = 1
 mock.ExpectBegin()
 mock.ExpectExec("UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)").
  WithArgs(time.Now(), newName, userId).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()

 err := UpdateUserNameById(newName, userId)
 assert.Nil(t, err)
}

运行测试后,会有下面的报错信息:

ExecQuery 'UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)', arguments do not match: argument 0 expected [time.Time - 2022-05-08 18:13:08.23323 +0800 CST m=+0.003082084] does not match actual [time.Time - 2022-05-08 18:13:08.234134 +0800 CST m=+0.003986334]

GORM 在UPDATE 的时候会自动更新updated_at 字段为当前时间,与这里withArgs传递的 time.Now() 参数不一致(毫秒级的差距也不行)。

这种情况可以选择在 Mock 要执行的更新 SQL 时给 updated_at字段的值设置成sqlmock.AnyArg(),就能测试通过了,上面的 UPDATE 测试改成下面这样:

 mock.ExpectBegin()
  mock.ExpectExec("UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)").
    WithArgs(sqlmock.AnyArg(), newName, userId).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()

这个方法是sqlmock提供的用来断言匹配任意字段值的一个特殊的类型。在其注释里也有说明,尤其适合time.Time类型字段的断言。

// AnyArg will return an Argument which can
// match any kind of arguments.
//
// Useful for time.Time or similar kinds of arguments.
func AnyArg() Argument {
 return anyArgument{}
}

当然使用sqlmock.AnyArg()在测试代码的可读性上,以及严谨性上都会差点意思,因为如果真实执行的 SQL 中如果updated_at字段设置的值不是time.Time类型的,使用sqlmock.AnyArg()做断言匹配是无法测出来的。

所以我们也可以选择实现自己定义一个 AnyTime 类型,让它实现sqlmock.Argument接口,比如下面的示例:

// 定义一个AnyTime 类型,实现 sqlmock.Argument接口
// 参考自:https://qiita.com/isao_e_dev/items/c9da34c6d1f99a112207
type AnyTime struct{}

func (a AnyTime) Match(v driver.Value) bool {
 // Match 方法中:判断字段值只要是time.Time 类型,就能验证通过
 _, ok := v.(time.Time)
 return ok
}

AnyTime 类型实现接口定义的Match方法的逻辑是:判断字段值只要是time.Time 类型,就能验证通过。这种方式比使用 sqlmock.AnyArg() 限制性更强一些,代码可读性也会更好。

 mock.ExpectBegin()
 mock.ExpectExec("UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)").
  WithArgs(AnyTime{}, newName, userId).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()

总结

这篇内容我们把ORM的 Mock 测试做了一个讲解,覆盖了 ORM 的所有操作,对了这里没有讲关于 DELETE 操作的讲解,这块有需要的自己研究一下吧。还有一点重要的原因是,在公司里做项目,使用的数据库账号一般不授予 DELETE 权限,为什么不让做 DELETE 操作?领导故意难为你出一堆规范?其实是为了避免出线上事故,还有因为不是 DELETE 就一定能释放 MySQL 磁盘空间的,大家可以在评论区里发挥一下,看自己的 MySQL 的知识储备咋样。

如果你觉得有用,可以点赞、在看、分享给更多人,谢谢各位的支持,后面会与时俱进再搞一篇 Go 1.18 Fuzing 测试的使用介绍。

文章分享自微信公众号:
网管叨bi叨

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:居家好忙的
原始发表时间:2022-05-23
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • Go Web编程--应用ORM

    上篇文章中我们在使用的开发环境中增加了 MySQL容器,然后介绍了使用 database/sql标准库结合数据库驱动包进行数据库操作的方法。不过它们是相对偏底层...

    KevinYan
  • Java工程师学习指南(初级篇)

    最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写...

    公众号_程序员黄小斜
  • Java工程师学习指南 初级篇

    最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写...

    公众号_程序员黄小斜
  • Java工程师学习指南(初级篇)

    最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写...

    公众号_程序员黄小斜
  • Java工程师学习指南(初级篇)

    最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写...

    Java技术江湖
  • 面经手册 · 第29篇《Spring IOC 特性有哪些,不会读不懂源码!》

    为什么这些无论从书本、课堂、面试都显得非常重要的知识,但是在实际的编程中没有提升你的编码能力呢?

    小傅哥
  • 《后端成长路线》系列 导航篇

    1、在CSDN这么久了,也是有感情的。很感谢这么多粉丝们关注了我,我想,是要回报一下大家的。所以我的博客也是比较用心的,大家可以看出来吧,几乎每周我都会 “排水...

    看、未来
  • 如何使用 Serverless 做架构和项目管理——三年全栈经验总结

    本文是从项目工程角度来讲解的,技术角度请参看另一个文章《真实项目代码教你四步扔了传统服务器,让你优雅使用 Serverless 做全栈开发》(https://z...

    腾讯云serverless团队
  • 【游戏编程板块】关于游戏开发的客户端/服务器端的版本控制

    【客户端】 1.关于游戏引擎 在15年3月开始准备做h5游戏的时候,首先遇到的问题就是引擎选型的问题。 当时市面上的2d引擎主要有3个:白鹭egret,laya...

    李海彬
  • 架构之路(六):把框架拉出来

    【编者按】本文作者自由飞,具有 传奇般的人生经历: 98年读大学-国际贸易专业 03年11月英语培训机构当英语老师 04年2月-05年6月律师...

    CSDN技术头条
  • 从头到脚说单测——谈有效的单元测试

    导语 非常幸运的是,从4月份至今,我能够全身心投入到腾讯新闻的单元测试专项任务中,从无知懵懂,到不断深入理解的过程,与开发同学互帮互助,受益匪浅。在此过程中,得...

    腾讯技术工程官方号
  • 混搭 TypeScript + GraphQL + DI + Decorator 风格写 Node.js 应用

    阅读本文的知识前提:熟悉 TypeScript + GraphQL + Node.js + Decorator + Dependency Inject 等概念。...

    JSCON简时空
  • 从头到脚说单测——谈有效的单元测试(下篇)

    作 者 杨迪,腾讯PCG高级工程师 商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处。 WeTest 导读 在《从头到脚说单测——谈有效的单元测试...

    WeTest质量开放平台团队
  • 一杯茶的时间,上手 Django 框架开发

    Django 是 Python 社区的两大最受欢迎的 Web 框架之一(另一个是 Flask)。凭借功能强大的脚手架和诸多开箱即用的组件,用 Django 搭建...

    一只图雀
  • 看完这 18 个问题,你也能打造企业级 Pipeline

    Jenkins 已经成为大量公司最常用的一种持续集成工具了,但是目前pipeline的普及程度可能依然低于30%,大量的团队依然使用自由风格这种笨重的方式,给统...

    DevOps时代
  • 打造企业级pipeline服务的18个疑问

    Jenkins已经成为大量公司最常用的一种持续集成工具了,但是目前pipeline的普及程度可能依然低于30%,大量的团队依然使用自由风格这种笨重的方式,给统一...

    JFrog杰蛙科技
  • 周末再聊聊Java学习路线

    我相信这些读者或多或少都有一些 Java 基础,但由于看不到全貌,学了一段时间很容易迷失。所以我在寻思着能不能写一个学习的地图或者路线,让读者能知道下一步该学什...

    Java3y
  • kube-scheduler 的 Cache 解析

    为了避免 Node 的翻译失去原有的意义,本文直接引用 Node,而不是翻译成节点、服务器等。同时,也避免 Bind 的翻译歧义而直接引用,没有翻译为绑定。

    我是阳明
  • 冗余双写架构/分布式锁(第二十二章/二十三章/二十四章/二十五章/二十六章/二十七章/二十八章/二十九章/三十章)海量数据处理-商用短链

    实现分布式锁 可以用 Redis、Zookeeper、Mysql数据库这几种 , 性能最好的是Redis且是最容易理解

    高大北

扫码关注腾讯云开发者

领取腾讯云代金券