如何高效地合并Spark社区PR到自己维护的分支

最近刚刚忙完Spark 2.2.0的性能测试及Bug修复,社区又要发布2.1.2了,国庆期间刚好有空,过了一遍2.1.2的相关JIRA,发现有不少重要修复2.2.0也能用上,接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。

经常有朋友问我是怎么把社区的PR合到自己分支上的,我之前跟他们介绍的做法是基于PR拉分支,在IDEA中单个文件diff合并。如果是偶尔合下社区代码,这种方式也不算太费事。但是如果PR中改动的文件较多,或者要合并多个PR过来,这种方式也挺麻烦。

废话到此,这篇文章是介绍,如何高效地合并Spark社区PR到自己维护的分支(常说的打Patch),当然,针对其他开源项目,该方法同样适用。

PR:Pull Request是GitHub上的一个功能,开源代码的贡献者,通过发起一个Pull Request向社区贡献代码。

准备Spark代码

一般来说,自己维护一套Spark代码,需要Fork下社区项目,在clone自己Fork的代码,进行开发。我这里以Spark 2.2.0为例。

1、 clone自己Fork的仓库到本地

# stanzhai是我的GitHub账号,大家需要换成自己的仓库地址
git clone https://github.com/stanzhai/spark.git
cd spark

2、 添加一个名为upstream的远程仓库指向社区的版本库

git remote add upstream https://github.com/apache/spark.git

3、 设置PR引用,编辑git配置vi .git/config,找到upstream,添加最后一行fetch

[remote "upstream"]
    url = https://github.com/apache/spark.git
    fetch = +refs/heads/*:refs/remotes/upstream/*
    fetch = +refs/pull/*/head:refs/remotes/upstream/pr/*  # 注意添加这行

4、 同步远端库,更新分支引用(每次合并前都需要执行)

git remote update

5、 checkout一个2.2.0的维护分支

git checkout -b my-2.2.0 v2.2.0

我们创建了一个基于2.2.0的my-2.2.0分支,下面的示例是将社区PR合并到my-2.2.0分支中。

提交给社区的PR大致分为2类:

  1. PR被接受,且被合并到社区的仓库
  2. PR没有合并到社区仓库,(代码没问题,有可能commiter还没来得及处理)

整合已被社区合并的PR

被合并到社区的PR已经做了rebase处理,对于这种PR,合并到自己的分支中是非常简单的事情,直接使用git的cherry-pick就可以搞定。

我们以这个卡片为例:https://issues.apache.org/jira/browse/SPARK-22083

这个卡片被标记为resolved,而且PR也被合到社区仓库了:https://github.com/apache/spark/pull/19311,我们打开这个链接,到页面下方,找到这个位置:

打开后,会跳转到这个地址:https://github.com/apache/spark/commit/2c5b9b1173c23f6ca8890817a9a35dc7557b0776,地址中后面的一长串就是我们需要的commit-id,得到这个就可以直接合并代码了:

git remote update
git cherry-pick 2c5b9b1173c23f6ca8890817a9a35dc7557b0776

执行完,提示以下信息就表示合并成功了:

➜  spark git:(my-2.2.0) ✗ git cherry-pick 2c5b9b1173c23f6ca8890817a9a35dc7557b0776
[my-2.2.0 529f5ea55ff] [SPARK-22083][CORE] Release locks in MemoryStore.evictBlocksToFreeSpace
 Author: Imran Rashid <irashid@cloudera.com>
 Date: Mon Sep 25 12:02:30 2017 -0700
 2 files changed, 153 insertions(+), 13 deletions(-)

如果合并的代码恰好也被你改过了,那么有可能会出现冲突,这种情况正常解决冲突,然后git commit就可以了。

整合尚未合并到社区的PR

由于一个PR可能包含多次提交,整合未合并到社区的PR就比较麻烦了。Spark的主干代码每天都有变动,直接对比两个不同的分支变动通常会比较大,我们需要将PR中n次提交的代码的所有变更梳理出来,然后在做整合。

我们以这个PR为例:https://github.com/apache/spark/pull/19301,这个PR实现上还有待改进,但可以正常工作,因此还没合入社区,我们将这个PR合并到my-2.2.0分支,需要进行以下操作:

# 更新远程仓库及版本引用信息
git remote update

# 基于某个PR创建一个分支,这里的19301是这个PR在GitHub上的id
git checkout -b pr-19301 upstream/pr/19301
git checkout pr-19301

# PR分支大都基于master开发,以upstream/master分支为基准,重新apply PR分支上的修改
git rebase upstream/master

# 通过diff提取这次PR的patch文件
git diff upstream/master > pr-19301.patch

# 到目标分支打patch
git checkout my-2.2.0
git apply --reject pr-19301.patch

# 查看上一步apply的状态
git status
# apply有可能会不成功,尚未apply的patch被存放到*.rej文件中,需要手动处理,最后提交即可
git commit -a

# 清理
rm pr-19301.patch
rm *.rej
git branch -D pr-19301

参考

最后

上述方法不能保证合并PR 100%成功,原则上你的分支和社区代码越近,冲突越少,越容易处理。Spark 2.x的代码有很大的变动,把针对2.x的PR打到1.6的分支上,往往是个麻烦事。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏代码世界

Python中的logger和handler到底是个什么鬼

最近的任务经常涉及到日志的记录,特意去又学了一遍logging的记录方法。跟java一样,python的日志记录也是比较繁琐的一件事,在写一条记录之前,要写好多...

34090
来自专栏木子昭的博客

微信小程序通过ip获取用户所在城市

1.1K30
来自专栏java架构师

Hadoop学习5--配置本地开发环境(Windows+Eclipse)

一、导入hadoop插件到eclipse 插件名称:hadoop-eclipse-plugin-2.7.0.jar 我是从网上下载的,还可以自己编译。 放到ec...

31880
来自专栏JavaEdge

漫谈缓存更新之道

许多人在更新缓存时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载入缓存中。

25220
来自专栏Web项目聚集地

Javascript中的异步

8320
来自专栏一名合格java开发的自我修养

Storm同步调用之DRPC模型探讨

摘要:Storm的编程模型是一个有向无环图,决定了storm的spout接收到外部系统的请求后,spout并不能得到bolt的处理结果并将结果返回给外部请求。...

13810
来自专栏用户2442861的专栏

使用ThinkPHP框架快速开发网站(多图)

http://blog.csdn.net/ruby97/article/details/7574851/

2.7K20
来自专栏Golang语言社区

【Go 语言社区】Web 通信 之 长连接、长轮询(long polling)--转

基于HTTP的长连接,是一种通过长轮询方式实现"服务器推"的技术,它弥补了HTTP简单的请求应答模式的不足,极大地增强了程序的实时性和交互性。 一、什么是长连接...

1.2K30
来自专栏微服务生态

性能分析系列-小命令保证大性能

最近在工作中经常和性能压测工作打交道,积累了一些性能分析经验,我觉得这些经验对每一个开发者都有帮助的,能开发出性能高的代码也是我们的最终目标。

11350
来自专栏Golang语言社区

Golang语言--开发游戏服务器需要了解的知识

我们以linux环境为列给大家讲解: 1 熟悉网络编程 网络编程主要是涉及到服务器与客户端间的通信,游戏开发中多数采用长链接的形式;短...

404120

扫码关注云+社区

领取腾讯云代金券