Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)

程序员欣宸

发布于 2022-12-19 14:49:05

7260

发布于 2022-12-19 14:49:05

文章被收录于专栏：实战docker实战docker

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

本文是《Strimzi Kafka Bridge(桥接)实战》的第三篇，前文咱们掌握了Strimzi Kafka Bridge的基本功能：基于http提供各种kafka消息的服务
此刻，如果想通过http接口调用bridge的服务，势必要写不少代码（请求数据的生成、响应数据的解析），好在Strimzi已经提供了标准OpenApi的配置文件，咱们可以根据这个配置文件生成与http接口相关的代码，省去不少工作

为什么是golang版本

熟悉欣宸的读者都知道欣宸是个正宗的java程序员，那么，本篇应该实战java版本的SDK吧，怎么就研究起了golang版本呢？
因为Strimzi Kafka Bridge提供的OpenApi配置，用来生成客户端sdk之后，是无法正常使用的！！！，没错，您没看错，用工具生成的sdk，不论是golang版还是java版，都用不了！
相比之下，golang版的sdk，虽然不能用，但是经过抢救还是可以正常工作的，这也是本篇的主要内容
而java版的就没那么幸运了，涉及到jar库的依赖，就算是改代码也救不活，于是只能放弃，具体的原因本文末尾会给出，当然了，也许是欣宸水平太差，换成其他高手说不定就给救活了
闲话少说，接下来的内容由以下这几个步骤组成

介绍一下我这边的环境信息
下载OpenApi的配置文件
下载swagger工具
用swagger工具生成客户端sdk代码
创建一个golang的demo程序，使用刚刚生成的客户端sdk代码
客户端sdk代码存在诸多问题，但是可以逐个修复，这里咱们就来修复它们
运行一个demo程序，调用sdk代码中的API，验证基本功能

环境信息

以下是我这边的环境信息，您可以作为参考

JDK：11.0.14.1
Maven：3.8.5
strimzi-kafka-bridge：0.22.3
swagger-codegen-cli：2.4.9

需要注意的是，swagger工具是jar格式的，因此需要当前环境准备好JDK

下载OpenApi的配置文件

Strimzi Kafka Bridge的master分支处于活跃状态，因此不适合拿来实战，咱们选择一个发布版本吧
下载strimzi-kafka-bridge源码，地址是：https://codeload.github.com/strimzi/strimzi-kafka-bridge/zip/refs/tags/0.22.3 ，下载后解压得到名为strimzi-kafka-bridge-0.22.3的文件夹
这个文件就是OpenApi的配置文件，可以用来生成客户端sdk源码：strimzi-kafka-bridge-0.22.3/src/main/resources/openapiv2.json ，稍后会用到

下载swagger工具

swagger工具的下载地址是：https://repo1.maven.org/maven2/io/swagger/swagger-codegen-cli/2.4.9/swagger-codegen-cli-2.4.9.jar
现在新建一个目录，我这里新建了一个名为001的目录，将openapiv2.json和swagger-codegen-cli-2.4.9.jar这两个刚下载的文件放在这个目录下
在001的目录下新增一个名为swagger的目录

用swagger工具生成客户端sdk代码

使用默认参数来生成客户端sdk代码的操作十分简单

java -jar swagger-codegen-cli-2.4.9.jar generate \
-i ./openapiv2.json \
-l go \
-o swagger

执行完命令后，控制台输出如下

查看swagger目录，发现已经生成了大量文件

➜  001 tree swagger
swagger
├── README.md
├── api
│   └── swagger.yaml
├── api_consumers.go
├── api_default.go
├── api_producer.go
├── api_seek.go
├── api_topics.go
├── client.go
├── configuration.go
├── docs
│   ├── AssignedTopicPartitions.md
│   ├── BridgeInfo.md
│   ├── Consumer.md
│   ├── ConsumerRecord.md
│   ├── ConsumerRecordList.md
│   ├── ConsumersApi.md
│   ├── CreatedConsumer.md
│   ├── DefaultApi.md
│   ├── KafkaHeader.md
│   ├── KafkaHeaderList.md
│   ├── ModelError.md
│   ├── OffsetCommitSeek.md
│   ├── OffsetCommitSeekList.md
│   ├── OffsetRecordSent.md
│   ├── OffsetRecordSentList.md
│   ├── OffsetsSummary.md
│   ├── Partition.md
│   ├── PartitionMetadata.md
│   ├── Partitions.md
│   ├── ProducerApi.md
│   ├── ProducerRecord.md
│   ├── ProducerRecordList.md
│   ├── ProducerRecordToPartition.md
│   ├── ProducerRecordToPartitionList.md
│   ├── Replica.md
│   ├── SeekApi.md
│   ├── SubscribedTopicList.md
│   ├── TopicMetadata.md
│   ├── Topics.md
│   └── TopicsApi.md
├── git_push.sh
├── model_assigned_topic_partitions.go
├── model_bridge_info.go
├── model_consumer.go
├── model_consumer_record.go
├── model_consumer_record_list.go
├── model_created_consumer.go
├── model_error.go
├── model_kafka_header.go
├── model_kafka_header_list.go
├── model_offset_commit_seek.go
├── model_offset_commit_seek_list.go
├── model_offset_record_sent.go
├── model_offset_record_sent_list.go
├── model_offsets_summary.go
├── model_partition.go
├── model_partition_metadata.go
├── model_partitions.go
├── model_producer_record.go
├── model_producer_record_list.go
├── model_producer_record_to_partition.go
├── model_producer_record_to_partition_list.go
├── model_replica.go
├── model_subscribed_topic_list.go
├── model_topic_metadata.go
├── model_topics.go
└── response.go

2 directories, 66 files

创建一个golang的demo程序，使用刚刚生成的客户端sdk代码

新建名为sdkdemo的文件夹
在sdkdemo的文件夹下面执行以下命令，新建一个go工程

go mod init sdkdemo

需要引入两个包，执行以下命令

go get golang.org/x/oauth2
go get github.com/antihax/optional

将前面生成代码的swagger文件夹复制到sdkdemo的文件夹下面
现在sdkdemo的文件夹下面有这些东西

为了方便开发，接下来用IDE工具进行开发，我这里用的是goland，打开项目后新增名为main.go的文件

接下来咱们要面对的是一堆破绽百出的sdk代码，不过还好，可以拯救，咱们一起啦拯救吧

修复有问题的sdk源码，第一个问题

一共有6个问题，咱们逐一修复
第一个问题如下图，SeekToEndOpts这个数据结构在api_seek.go和api_consumer.go中都有，显然是重复定义了，将左侧api_seek.go中的SeekToEndOpts定义删除掉

第二个问题

第二个问题如下图，SendOpts这个数据结构在api_topics.go和api_producer.go中都有，显然是重复定义了，将左侧api_topics.go中的SeekToEndOpts定义删除掉

第三个问题

第三个问题最让人痛苦（因为java版也被此问题折磨，且不好处理），bridge的请求和响应的contentType，与咱们平时常用的application/json不同，在bridge这里用的是这两种：application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json，其实这个也好理解：生产和发送的消息内容不一定只有json格式，可能还会嵌入其他格式的消息，这就要有kafka自己的协议来支持了，于是contentType就变得比较特殊
话虽这么说，但是swagger不认识application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json这两种格式，于是生成的代码自然也就不支持了
来看看具体问题吧，打开文件client.go，当前decode方法源码如下，可见是不会处理application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json这两种的

func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
	if strings.Contains(contentType, "application/xml") {
		if err = xml.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	} else if strings.Contains(contentType, "application/json") {
		if err = json.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	}
	return errors.New("undefined response type")
}

把代码改成下面这样，对application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json这两种类型的数据，处理方法都等同于json

func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
	if strings.Contains(contentType, "application/xml") {
		if err = xml.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	} else if strings.Contains(contentType, "application/json") ||
		strings.Contains(contentType, "application/vnd.kafka.v2+json") ||
		strings.Contains(contentType, "application/vnd.kafka.json.v2+json") {
		if err = json.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	}
	return errors.New("undefined response type")
}

当然了这样做的弊端也很明显：只支持json格式的内容，kakfa原本支持的多种格式都不能处理了

第四个问题

第四个问题也和contentType有关，前面第三个问题发生在请求阶段，而第四个问题发生在处理响应数据的阶段
还是client.go文件，这次是setBody方法，先看看原始内容

// Set request body from an interface{}
func setBody(body interface{}, contentType string) (bodyBuf *bytes.Buffer, err error) {
	if bodyBuf == nil {
		bodyBuf = &bytes.Buffer{}
	}

	if reader, ok := body.(io.Reader); ok {
		_, err = bodyBuf.ReadFrom(reader)
	} else if b, ok := body.([]byte); ok {
		_, err = bodyBuf.Write(b)
	} else if s, ok := body.(string); ok {
		_, err = bodyBuf.WriteString(s)
	} else if s, ok := body.(*string); ok {
		_, err = bodyBuf.WriteString(*s)
	} else if jsonCheck.MatchString(contentType) {
		err = json.NewEncoder(bodyBuf).Encode(body)
	} else if xmlCheck.MatchString(contentType) {
		xml.NewEncoder(bodyBuf).Encode(body)
	}

	if err != nil {
		return nil, err
	}

	if bodyBuf.Len() == 0 {
		err = fmt.Errorf("Invalid body type %s\n", contentType)
		return nil, err
	}
	return bodyBuf, nil
}

修改后的内容如下图，红色箭头所指为新增内容

第五个问题

第五个问题，简直是strimzi拿来恶心开发者的，在拉取消息的时候，bridge的server端只支持application/vnd.kafka.json.v2+json，结果在OpenApi中却定义了多种类型，结果拉去消息的时候，bridge会提示多出的类型不支持
这个问题可以用postman等工具复现，如下图

代码的改动如下图，修改api_consumers.go

第六个问题

最后一个问题是数据结构定义问题，打开model_consumer_record_list.go，看到内容如下，真够坏的，挖这么大的坑…

package swagger

type ConsumerRecordList struct {
}

改成这样就好了

package swagger

type ConsumerRecordList []ConsumerRecord

第七个问题

第七个问题，也是挖了个坑让我跳，打开文件model_producer_record.go，内容如下，根据前一篇的请求内容，可知这里缺少两个字段：Key和Value

package swagger

type ProducerRecord struct {
	Partition int32 `json:"partition,omitempty"`
	Headers *KafkaHeaderList `json:"headers,omitempty"`
}

修改后如下

package swagger

type ProducerRecord struct {
	Partition int32 `json:"partition,omitempty"`
	Value string `json:"value"`
	Key string `json:"key,omitempty"`
	Headers *KafkaHeaderList `json:"headers,omitempty"`
}

第八个问题

最后一个问题，是在提交offset的时候，bridge后台不接受contentType，所以请打开文件api_consumers.go，修改如下，注释掉一行代码

坑已经填完了，开始验证SDK能不能用吧

编写代码验证功能：查看topic列表

打开main.go文件，增加以下内容，都是要用到的常量，以及sdk配置的初始化

// 测试用的topic
const TEST_TOPIC = "bridge-quickstart-topic"

const TEST_GROUP = "client-sdk-group"

const CONSUMER_NAME = "client-sdk-consumer-002"

// strimzi bridge地址
const BASE_PATH = "http://127.0.0.1:31331"

var client *swagger.APIClient

func init() {
	configuration := swagger.NewConfiguration()
	configuration.BasePath = BASE_PATH
	client = swagger.NewAPIClient(configuration)
}

调用SDK来查看kafka的topic列表的代码如下

func getAllTopics() ([]string, error) {
	array, response, err := client.TopicsApi.ListTopics(context.Background())

	if err != nil {
		log.Printf("getAllTopics err: %v\n", err)
		return nil, err
	}

	log.Printf("response: %v", response)

	return array, nil
}

在main方法中调用getAllTopics

func main() {
	topics, err := getAllTopics()
	if err != nil {
		return
	}

	fmt.Printf("topics: %v\n", topics)
}

运行main方法，结果如下，可见成功获取到topic列表，sdk能用

2022/12/18 21:26:33 response: &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[109] Content-Type:[application/vnd.kafka.v2+json]] 0x140000e0300 109 [] false false map[] 0x14000118100 <nil>}
topics: [__strimzi_store_topic bridge-quickstart-topic __strimzi-topic-operator-kstreams-topic-store-changelog]

Process finished with the exit code 0

编写代码验证功能：发送消息

发送消息的代码如下

// 发送消息(异步模式，不会收到offset返回)
func sendAsync(info string) error {
	log.Print("send [" + info + "]")
	_, response, err := client.ProducerApi.Send(context.Background(),
		TEST_TOPIC,
		swagger.ProducerRecordList{
			Records: []swagger.ProducerRecord{
				{Value: "message from go swagger SDK"},
			},
		},
		&swagger.SendOpts{Async: optional.NewBool(true)},
	)

	if err != nil {
		log.Printf("send err: %v\n", err)
		return err
	}

	log.Printf("response: %v", response.StatusCode)

	return nil
}

把main方法改成下面这样，连续调用发送消息的请求

func main() {
	for i := 0; i < 10; i++ {
		sendAsync("message from go client " + strconv.Itoa(i))
	}
}

控制台输出如下，可见发送消息成功，稍后咱们还会写消费的代码来消费这些消息

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:35:47 send [message from go client 0]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 1]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 2]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 3]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 4]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 5]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 6]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 7]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 8]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 9]
2022/12/18 21:35:47 response: 204

Process finished with the exit code 0

编写代码验证功能：创建consumer

先增加两个辅助方法，用来处理特别的包体和错误信息

// 取出swagger特有的error类型，从中提取中有效的错误信息
func getErrorMessage(err error) string {
	e := err.(swagger.GenericSwaggerError)
	return string(e.Body())
}

func getBodyStr(body io.ReadCloser) string {
	buf := new(bytes.Buffer)
	buf.ReadFrom(body)
	return buf.String()
}

创建consumer的代码如下

// 创建consumer
func CreateConsumer(group string, consumerName string) (*swagger.CreatedConsumer, error) {

	consumer, response, err := client.ConsumersApi.CreateConsumer(context.Background(),
		group,
		swagger.Consumer{
			Name:                     consumerName,
			AutoOffsetReset:          "latest",
			FetchMinBytes:            16,
			ConsumerRequestTimeoutMs: 300 * 1000,
			EnableAutoCommit:         false,
			Format:                   "json",
		})

	if err != nil {
		log.Printf("CreateConsumer error : %v", getErrorMessage(err))
		return nil, err
	}

	log.Printf("CreateConsumer response : %v, body [%v]", response, getBodyStr(response.Body))
	log.Printf("consumer : %v", consumer)
	return &consumer, nil
}

在main方法中调用，即可创建consumer

func main() {
	// 创建consumer
	CreateConsumer(TEST_GROUP, CONSUMER_NAME)
}

编写代码验证功能：订阅

订阅代码如下

// 订阅
func Subsciribe(topic string, consumerGroup string, consumerName string) error {

	response, err := client.ConsumersApi.Subscribe(context.Background(),
		swagger.Topics{Topics: []string{topic}},
		consumerGroup,
		consumerName,
	)

	if err != nil {
		log.Printf("Subscribe error : %v", err)
		return err
	}

	log.Printf("Subscribe response : %v", response)
	return nil
}

在main方法中这样调用

func main() {
	err := Subsciribe(TEST_TOPIC, TEST_GROUP, CONSUMER_NAME)
	if err != nil {
		fmt.Printf("err : %v\n", err)
	}
}

编写代码验证功能：拉取消息

以下是拉取消息的代码

// 拉取消息
func Poll(consumerGroup string, consumerName string) error {
	// ctx context.Context, groupid string, name string, localVarOptionals *PollOpts
	recordList, response, err := client.ConsumersApi.Poll(context.Background(), consumerGroup, consumerName, nil)
	if err != nil {
		log.Printf("Poll error : %v", err)
		return err
	}

	log.Printf("Poll response : %v", response)
	fmt.Printf("recordList: %v\n", recordList)
	return nil
}

main方法如下

func main() {
	Poll(TEST_GROUP, CONSUMER_NAME)
}

执行main方法，第一次拉取不到消息，别担心，这是正常的现象，按照官方的说法，拉取到的第一条消息就是空的，这是因为拉取操作出触发了rebalancing逻辑（rebalancing是kafka的概览，是处理多个partition消费的操作），再次执行main方法，这下正常了，控制台输出如下

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:43:16 Poll response : &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[2301] Content-Type:[application/vnd.kafka.json.v2+json]] 0x140000e0340 2301 [] false false map[] 0x1400011a100 <nil>}
recordList: [{ 163468 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163469 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163470 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163471 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163472 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163473 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 162246 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162247 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162248 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162249 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162250 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 163669 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163670 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163671 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163672 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163146 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163147 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163148 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163149 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163150 3 bridge-quickstart-topic message from go swagger SDK <nil>}]

Process finished with the exit code 0

编写代码验证功能：提交offset

最后是提交offset的功能，这样从消息的发送再到接收的整个流程都实现了api覆盖，增加Offset方法

// 提交offset
func Offset(consumerGroup string, consumerName string) error {
	response, err := client.ConsumersApi.Commit(context.Background(),
		consumerGroup,
		consumerName, nil)

	if err != nil {
		log.Printf("Poll error : %v", err)
		return err
	}

	log.Printf("Offset response : %v", response)
	return nil
}

调用很简单

func main() {
	err := Offset(TEST_GROUP, CONSUMER_NAME)
	if err != nil {
		print(err)
	}
}

执行结果如下，返回204，提交成功

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 22:07:38 Offset response : &{204 No Content 204 HTTP/1.1 1 1 map[] {} 0 [] false false map[] 0x1400011a100 <nil>}

Process finished with the exit code 0

java的问题

从go版本的修改程度可以发现，基于openapiv2.json生成的sdk代码真的很难用，在go环境尚且如此，换成java环境就更难改了，虽然我也尝试过将其改好，但是面对很多jar的时候还是无能为力，下图是一个很难处理的地方，ApiClient并不支持application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json，contentType改不成正常的，bridge后台就会返回错误，所以最终我只能骂骂咧咧的放弃了