golang中实现通用http参数与结构体的转换
原创
作者介绍：衡阵，2011年加入腾讯，先后经历webqq，qq互联，手Q后台等相关的工作，目前负责NOW直播的后台开发工作。热爱后台开发，喜欢研究新的技术。对Java/C++/Golang等都非常感兴趣。
最近基于golang 实现一个通用的http的协议代理，把来自http的请求转换成内部的通信协议。内部协议是基于pb的，所以关键就是实现pb和http请求中的参数的转换。
研究protoc生成的go源码发现，生成的go的结构体中已经自带的json的tag，可以很方便的在json和pb之间互转。
![[1490771630339_2748_1490771630592.png]](https://ask.qcloudimg.com/http-save/yehe-900000/81e41d98db15f22e4586dfa50dedbec3.png)
于是想到，可以以一个请求参数来传json来实现。
var data={name:"hello"}
var url="http://test.xx.com/cgi-bin/request?data="+urlencode(data)
http.get(url)这样在服务端先拿到data的数据，直接用json库就可以转成相关的结构体。
这样实现虽然简单，但并不直观。对用户来说，更习惯用。
var url="http://test.xx.com/cgi-bin/request?name=hello"
这种形式来请求。由于其他语言习惯把请求参数存在一个map中，于是想golang是不是也可以这样处理。于是问题变成一个mapstringstring和json的转换的故事。搜下网上发现有人提出类似的问题，还是playgroud上的一个练习。代码如下：
func SetField(obj interface{}, name string, value interface{}) error {
structValue := reflect.ValueOf(obj).Elem()
structFieldValue := structValue.FieldByName(name)
if !structFieldValue.IsValid() {
return fmt.Errorf("No such field: %s in obj", name)
}
if !structFieldValue.CanSet() {
return fmt.Errorf("Cannot set %s field value", name)
}
structFieldType := structFieldValue.Type()
val := reflect.ValueOf(value)
if structFieldType != val.Type() {
return errors.New("Provided value type didn't match obj field type")
}
structFieldValue.Set(val)
return nil
}
type MyStruct struct {
Name string
Age int64
}
func (s *MyStruct) FillStruct(m map[string]interface{}) error {
for k, v := range m {
err := SetField(s, k, v)
if err != nil {
return err
}
}
return nil
}
func main() {
myData := make(map[string]interface{})
myData["Name"] = "Tony"
myData["Age"] = int64(23)
result := &MyStruct{}
err := result.FillStruct(myData)
if err != nil {
fmt.Println(err)
}
fmt.Println(result)
}这个代码实现了简单的map到struct的转换，但要求类型强一致。所以需要实现弱类型的转换。后来发现，github上已经有一个开源的实现。
https://github.com/mitchellh/mapstructure 通过很简单的代码就可以实现我们想要的功能
paras := make(map[string]interface{})
setfunc := func(k []byte, v []byte) {
paras[string(k)] = string(v)
}
if ctx.IsPost() {
ctx.PostArgs().VisitAll(setfunc)
} else if ctx.IsGet() {
ctx.QueryArgs().VisitAll(setfunc)
}
ex := mapstructure.WeakDecode(paras, pb)到了这里，大部分场景都可以实现了。但有些请求是有消息嵌套的，虽然mapstructure是支持嵌套转换的，但我们的请求参数只是一层的mapstringstring。
这种情况mapstructure无能为力了。看下mapstructure的源码，逻辑比较简单，既然你不支持，就改到你支持。我们定义如果有结构体嵌套，二级参数要是一个json字符串。在处理结构提的地方，如果发现传入的是个字符串，就尝试用json去处理一下，然后再走后面的逻辑。
![[1490772382073_8928_1490772382381.png]](https://ask.qcloudimg.com/http-save/yehe-900000/2f8265b287e45438d882d799208a162b.png)
在slice的地方也同样处理
![[1490772413239_4172_1490772413430.png]](https://ask.qcloudimg.com/http-save/yehe-900000/1cc5fb5012fe0334511f2ecaecebb01d.png)
这样处理完了之后试了一下，果然处理嵌套的结构体了。但是在实际使用的时候发现，有人竟然在pb中定义普通的字符串为bytes，这样在生成的go代码中就是[]byte类型。这种情况很不巧也会走到decodeSlice的逻辑，而我们并没有考虑兼容。事实上mapstructure这个框架就没有考虑这种情形。按json定义的标准，[]byte类型要以base64编码，我们也遵循这种规范。于是加上这个代码：
![[1490772448972_7935_1490772449155.png]](https://ask.qcloudimg.com/http-save/yehe-900000/c064e9d51252b3480ef73aa4b12871c5.png)
至此，这个转换基本完美。但是发现一使用，发现还是有坑存在，对应proto文件中定义的带下划线的字段，生成的struct成员代码是驼峰型的。标准库中的json可以通过反射拿到tag中的原始名称正常的输出。但我们用mapstructure默认是以字段名来解析的。
本来以为要自己处理一下，在修改一下mapstructure的源码，然而阅读代码的时候发现，mapstructure支持指定要处理的tag。并且tag处理逻辑是兼容pb生成的json tag的。我们只要在解析时指定一下tag即可。
![[1490772520089_6340_1490772520252.png]](https://ask.qcloudimg.com/http-save/yehe-900000/632fd7911b2933542e2b894f80403129.png)
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。