您的位置:首页 > 教程 > 其他脚本 > Go单元测试对数据库CRUD进行Mock测试

Go单元测试对数据库CRUD进行Mock测试

2022-06-21 17:45:22 来源:易采站长站 作者:

Go单元测试对数据库CRUD进行Mock测试

目录
前言go-sqlmock安装使用示例miniredis安装使用示例总结

XLg站长之家-易采站长站-Easck.Com

前言

最近在实践中也总结了一些如何用表格驱动的方式使用>

这是Go语言单元测试系列教程的第3篇,介绍了如何使用go-sqlmockminiredis工具进行MySQLRedismock测试。XLg站长之家-易采站长站-Easck.Com

在上一篇《Go单元测试--模拟服务请求和接口返回》中,我们介绍了如何使用httptest和gock工具进行网络测试。XLg站长之家-易采站长站-Easck.Com

除了网络依赖之外,我们在开发中也会经常用到各种数据库,比如常见的MySQL和Redis等。本文就分别举例来演示如何在编写单元测试的时候对MySQL和Redis进行mock。XLg站长之家-易采站长站-Easck.Com

XLg站长之家-易采站长站-Easck.Com

go-sqlmock

sqlmock>sql/driver 的mock库。它不需要建立真正的数据库连接就可以在测试中模拟任何 sql 驱动程序的行为。使用它可以很方便的在编写单元测试的时候mock sql语句的执行结果。XLg站长之家-易采站长站-Easck.Com

XLg站长之家-易采站长站-Easck.Com

XLg站长之家-易采站长站-Easck.Com

安装

go get github.com/DATA-DOG/go-sqlmock

XLg站长之家-易采站长站-Easck.Com

XLg站长之家-易采站长站-Easck.Com

使用示例

这里使用的是go-sqlmock官方文档中提供的基础示例代码。在下面的代码中,我们实现了一个recordStats函数用来记录用户浏览商品时产生的相关数据。具体实现的功能是在一个事务中进行以下两次SQL操作:XLg站长之家-易采站长站-Easck.Com

    在表中将当前商品的浏览次数+1product_viewers表中记录浏览当前商品的用户id
    // app.go
    package main
    import "database/sql"
    // recordStats 记录用户浏览产品信息
    func recordStats(db *sql.DB, userID, productID int64) (err error) {
     // 开启事务
     // 操作views和product_viewers两张表
     tx, err := db.Begin()
     if err != nil {
      return
     }
     defer func() {
      switch err {
      case nil:
       err = tx.Commit()
      default:
       tx.Rollback()
      }
     }()
     // 更新products表
     if _, err = tx.Exec("UPDATE products SET views = views + 1"); err != nil {
      return
     }
     // product_viewers表中插入一条数据
     if _, err = tx.Exec(
      "INSERT INTO product_viewers (user_id, product_id) VALUES (?, ?)",
      userID, productID); err != nil {
      return
     }
     return
    }
    func main() {
     // 注意:测试的过程中并不需要真正的连接
     db, err := sql.Open("mysql", "root@/blog")
     if err != nil {
      panic(err)
     }
     defer db.Close()
     // userID为1的用户浏览了productID为5的产品
     if err = recordStats(db, 1 /*some user id*/, 5 /*some product id*/); err != nil {
      panic(err)
     }
    }
    

    现在我们需要为代码中的recordStats函数编写单元测试,但是又不想在测试过程中连接真实的数据库进行测试。这个时候我们就可以像下面示例代码中那样使用sqlmock工具去mock数据库操作。XLg站长之家-易采站长站-Easck.Com

    package main
    import (
     "fmt"
     "testing"
     "github.com/DATA-DOG/go-sqlmock"
    )
    // TestShouldUpdateStats sql执行成功的测试用例
    func TestShouldUpdateStats(t *testing.T) {
     // mock一个*sql.DB对象,不需要连接真实的数据库
     db, mock, err := sqlmock.New()
     if err != nil {
      t.Fatalf("an error '%s' was not expected when opening a stub database connection", err)
     }
     defer db.Close()
     // mock执行指定SQL语句时的返回结果
     mock.ExpectBegin()
     mock.ExpectExec("UPDATE products").WillReturnResult(sqlmock.NewResult(1, 1))
     mock.ExpectExec("INSERT INTO product_viewers").WithArgs(2, 3).WillReturnResult(sqlmock.NewResult(1, 1))
     mock.ExpectCommit()
     // 将mock的DB对象传入我们的函数中
     if err = recordStats(db, 2, 3); err != nil {
      t.Errorf("error was not expected while updating stats: %s", err)
     }
     // 确保期望的结果都满足
     if err := mock.ExpectationsWereMet(); err != nil {
      t.Errorf("there were unfulfilled expectations: %s", err)
     }
    }
    // TestShouldRollbackStatUpdatesOnFailure sql执行失败回滚的测试用例
    func TestShouldRollbackStatUpdatesOnFailure(t *testing.T) {
     db, mock, err := sqlmock.New()
     if err != nil {
      t.Fatalf("an error '%s' was not expected when opening a stub database connection", err)
     }
     defer db.Close()
     mock.ExpectBegin()
     mock.ExpectExec("UPDATE products").WillReturnResult(sqlmock.NewResult(1, 1))
     mock.ExpectExec("INSERT INTO product_viewers").
      WithArgs(2, 3).
      WillReturnError(fmt.Errorf("some error"))
     mock.ExpectRollback()
     // now we execute our method
     if err = recordStats(db, 2, 3); err == nil {
      t.Errorf("was expecting an error, but there was none")
     }
     // we make sure that all expectations were met
     if err := mock.ExpectationsWereMet(); err != nil {
      t.Errorf("there were unfulfilled expectations: %s", err)
     }
    }
    

    上面的代码中,定义了一个执行成功的测试用例和一个执行失败回滚的测试用例,确保我们代码中的每个逻辑分支都能被测试到,提高单元测试覆盖率的同时也保证了代码的健壮性。XLg站长之家-易采站长站-Easck.Com

    执行单元测试,看一下最终的测试结果。XLg站长之家-易采站长站-Easck.Com

    ❯ go test -vXLg站长之家-易采站长站-Easck.Com
    === RUN   TestShouldUpdateStatsXLg站长之家-易采站长站-Easck.Com
    --- PASS: TestShouldUpdateStats (0.00s)XLg站长之家-易采站长站-Easck.Com
    === RUN   TestShouldRollbackStatUpdatesOnFailureXLg站长之家-易采站长站-Easck.Com
    --- PASS: TestShouldRollbackStatUpdatesOnFailure (0.00s)XLg站长之家-易采站长站-Easck.Com
    PASSXLg站长之家-易采站长站-Easck.Com
    ok      golang-unit-test-demo/sqlmock_demo      0.011sXLg站长之家-易采站长站-Easck.Com

    可以看到两个测试用例的结果都符合预期,单元测试通过。XLg站长之家-易采站长站-Easck.Com

    在很多使用ORM工具的场景下,也可以使用go-sqlmock库mock数据库操作进行测试。XLg站长之家-易采站长站-Easck.Com

    XLg站长之家-易采站长站-Easck.Com

    miniredis

    除了经常用到MySQL外,Redis在日常开发中也会经常用到。接下来的这一小节,我们将一起学习如何在单元测试中mock>

    miniredis是一个纯go实现的用于单元测试的redis server。它是一个简单易用的、基于内存的redis替代品,它具有真正的TCP接口,你可以把它当成是redis版本的net/http/httptestXLg站长之家-易采站长站-Easck.Com

    当我们为一些包含Redis操作的代码编写单元测试时就可以使用它来mock Redis操作。XLg站长之家-易采站长站-Easck.Com

    安装

    go get github.com/alicebob/miniredis/v2
    

    使用示例

    这里以github.com/go-redis/redis库为例,编写了一个包含若干Redis操作的DoSomethingWithRedis函数。XLg站长之家-易采站长站-Easck.Com

    // redis_op.go
    package miniredis_demo
    import (
     "context"
     "github.com/go-redis/redis/v8" // 注意导入版本
     "strings"
     "time"
    )
    const (
     KeyValidWebsite = "app:valid:website:list"
    )
    func DoSomethingWithRedis(rdb *redis.Client, key string) bool {
     // 这里可以是对redis操作的一些逻辑
     ctx := context.TODO()
     if !rdb.SIsMember(ctx, KeyValidWebsite, key).Val() {
      return false
     }
     val, err := rdb.Get(ctx, key).Result()
     if err != nil {
      return false
     }
     if !strings.HasPrefix(val, "https://") {
      val = "https://" + val
     }
     // 设置 blog key 五秒过期
     if err := rdb.Set(ctx, "blog", val, 5*time.Second).Err(); err != nil {
      return false
     }
     return true
    }
    

    下面的代码是我使用miniredis库为DoSomethingWithRedis函数编写的单元测试代码,其中miniredis不仅支持mock常用的Redis操作,还提供了很多实用的帮助函数,例如检查key的值是否与预期相等的s.CheckGet()和帮助检查key过期时间的s.FastForward()XLg站长之家-易采站长站-Easck.Com

    // redis_op_test.go
    package miniredis_demo
    import (
     "github.com/alicebob/miniredis/v2"
     "github.com/go-redis/redis/v8"
     "testing"
     "time"
    )
    func TestDoSomethingWithRedis(t *testing.T) {
     // mock一个redis server
     s, err := miniredis.Run()
     if err != nil {
      panic(err)
     }
     defer s.Close()
     // 准备数据
     s.Set("q1mi", "liwenzhou.com")
     s.SAdd(KeyValidWebsite, "q1mi")
     // 连接mock的redis server
     rdb := redis.NewClient(&redis.Options{
      Addr: s.Addr(), // mock redis server的地址
     })
     // 调用函数
     ok := DoSomethingWithRedis(rdb, "q1mi")
     if !ok {
      t.Fatal()
     }
     // 可以手动检查redis中的值是否复合预期
     if got, err := s.Get("blog"); err != nil || got != "https://liwenzhou.com" {
      t.Fatalf("'blog' has the wrong value")
     }
     // 也可以使用帮助工具检查
     s.CheckGet(t, "blog", "https://liwenzhou.com")
     // 过期检查
     s.FastForward(5 * time.Second) // 快进5秒
     if s.Exists("blog") {
      t.Fatal("'blog' should not have existed anymore")
     }
    }
    

    执行执行测试,查看单元测试结果:XLg站长之家-易采站长站-Easck.Com

    ❯ go test -vXLg站长之家-易采站长站-Easck.Com
    === RUN   ;TestDoSomethingWithRedisXLg站长之家-易采站长站-Easck.Com
    --- PASS: TestDoSomethingWithRedis (0.00s)XLg站长之家-易采站长站-Easck.Com
    PASSXLg站长之家-易采站长站-Easck.Com
    ok      golang-unit-test-demo/miniredis_demo    0.052sXLg站长之家-易采站长站-Easck.Com

    miniredis基本上支持绝大多数的Redis命令,大家可以通过查看文档了解更多用法。XLg站长之家-易采站长站-Easck.Com

    当然除了使用miniredis搭建本地redis server这种方法外,还可以使用各种打桩工具对具体方法进行打桩。在编写单元测试时具体使用哪种mock方式还是要根据实际情况来决定。XLg站长之家-易采站长站-Easck.Com

    XLg站长之家-易采站长站-Easck.Com

    总结

    在日常工作开发中为代码编写单元测试时如何处理数据库的依赖是最常见的问题,本文介绍了如何使用go-sqlmockminiredis工具mock相关依赖。XLg站长之家-易采站长站-Easck.Com

    接下来,我们将更进一步,详细介绍如何在编写单元测试时mock接口实现,更多关于Go数据库CRUD>

    如有侵权,请联系QQ:279390809 电话:15144810328

相关文章

  • 使用Go基于WebSocket构建千万级视频直播弹幕系统的代码详解

    使用Go基于WebSocket构建千万级视频直播弹幕系统的代码详解

    (1)业务复杂度介绍 开门见山,假设一个直播间同时500W人在线,那么1秒钟1000条弹幕,那么弹幕系统的推送频率就是: 500W * 1000条/秒=50亿条/秒 ,想想B站2019跨年晚会那次弹幕系统得是
    2020-07-08
  • golang中import cycle not allowed解决的一种思路

    golang中import cycle not allowed解决的一种思路

    发现问题 项目中碰到了一些问题,使用了指针函数的思路来解决相应问题 在实际项目中,因为两个项目互相引了对方的一些方法,导致了循环引用的错误,原本可以使用http的请求来解
    2019-11-10
  • 从go语言中找&和*区别详解

    从go语言中找&和*区别详解

    *和的区别 : 是取地址符号 , 即取得某个变量的地址 , 如 ; a*是指针运算符 , 可以表示一个变量是指针类型 , 也可以表示一个指针变量所指向的存储单元 , 也就是这个地址所存储的值 . 从
    2020-06-23
  • Go语言中利用http发起Get和Post请求的方法示例

    Go语言中利用http发起Get和Post请求的方法示例

    关于 HTTP 协议 HTTP(即超文本传输协议)是现代网络中最常见和常用的协议之一,设计它的目的是保证客户机和服务器之间的通信。 HTTP 的工作方式是客户机与服务器之间的 “请求-应答
    2019-11-10
  • golang如何实现mapreduce单进程版本详解

    golang如何实现mapreduce单进程版本详解

    前言 MapReduce作为hadoop的编程框架,是工程师最常接触的部分,也是除去了网络环境和集群配 置之外对整个Job执行效率影响很大的部分,所以很有必要深入了解整个过程。元旦放假的第一天
    2019-11-10
  • Go打包二进制文件的实现

    Go打包二进制文件的实现

    背景 众所周知,go语言可打包成目标平台二进制文件是其一大优势,如此go项目在服务器不需要配置go环境和依赖就可跑起来。 操作 需求:打包部署到centos7 笔者打包环境:mac os 方法:
    2020-03-11
  • GO语言实现简单的目录复制功能

    GO语言实现简单的目录复制功能

    本文实例讲述了GO语言实现简单的目录复制功能。分享给大家供大家参考。具体实现方法如下: 创建一个独立的 goroutine 遍历文件,主进程负责写入数据。程序会复制空目录,也可以设
    2019-11-10
  • golang中定时器cpu使用率高的现象详析

    golang中定时器cpu使用率高的现象详析

    前言: 废话少说,上线一个用golang写的高频的任务派发系统,上线跑着很稳定,但有个缺点就是当没有任务的时候,cpu的消耗也在几个百分点。 平均值在3%左右的cpu使用率。你没有任务
    2019-11-10