微信C2C渐进式图片流式传输系统简介

在微信C2C图片服务中,用户体验一直是第一位的,由架构平台部研发的微信C2C后台系统,也一直在用户体验上深入研究,经过多次技术数据的验证,采用渐进式格式,和产品体验的巧妙结合,可以大大的降低用户的体验时延,接下来会详细介绍我们的应用过程。

一、渐进式图片

JPG图片支持两种编码方式:基线式(baseline)和渐进式(progressive)。业界应用最广泛的是基线式,因为它编解码计算开销小,实现比较容易。渐进式在编码的时候,要多次扫描图片,计算开销大约是基线式的3-5倍(但比起Google的WebP编码8-10倍开销还是小很多)。两者编码出来的文件大小基本相同,渐进式往往会更小一些。基线式的编码方式是图片从上到下,从左到右地进行处理和编码,如图1。渐进式编码方式是先全局后局部,先轮廓再细节的编码方法,如图2。

图1 基线式图片展示过程
图2 渐进式图片展示过程

渐进式图片编码特性,可以被用来有选择性地控制传输的数据量,提高传输的成功率。在条件较差情况下,宁可丢弃了图片的部分不重要细节,换取传图功能的可用性。图3是收取到原图片一定比例数据的图片效果(局部对比)。

图2 渐进式图片展示过程

从图中可知,接收到图片的数据越多,图片展示越清晰。在20%的时候,还看不清楚图片中的文字,到了60%的时候,文字已清晰可见,再到80%以及100%,图片细节更清楚,但如果没有多张图片仔细比较,已看不出图片差异。

除了JPG支持渐进式编码格式,其他比如webP、HEVC在设计上也都支持渐进式的。要使用其他格式,只需要替换一下图片的编解码库即可,下文涉及的业务交互流程是不变的。

二、流式传输

这是类似流水线的传输过程,边传输边处理,在视频播放中普遍使用。通俗地说,就是数据像流水一样在网络中传输,通信双方在数据传输进行的过程中就即时处理,而不是等全部数据接收完毕再处理。

有别于流式传输的是普通“文件传输”,将整个图片文件当成一个整体,接收方在收到完整的数据后,再进行处理。或者将图片分成几个有限的小分片,每个分片是一个整体,单独进行传输,最后把分片拼接起来组成原图片。图片分片,往往配合并发传输,建立多个通道,同时传输多个分片,这在传统高速可靠的有线网络中效果很好,但在带宽有限、信号不稳定的无线网络中,效果往往不比单通道好。

三、图片最小传输长度

在实际应用中,传输一个完全看不清楚的图片是没有意义的,因此对渐进式图片传输的数据有一个最低要求,保证收到的图片基本可用。我们称这个长度为图片最小传输长度(MinimalTransport Size),MTS与原图片总大小(TS,Total Size)的比值,称为传输因子Q。公式如下:

Q=MTS/TS

或者写成:

MTS = TS×Q

传输因子Q可根据多种因素来调节,包括终端所在网络类型、信号强度、传输目标图片的尺寸和质量等。

在这个传输系统中,发送方只要发送图片的最小传输长度,即可向用户展示发送成功,然后转到后台尽量把完整数据发送完毕。在条件不允许(网络中断、没电、用户切换APP等)情况下,可以不用发送更多数据。

四、系统结构

为了便于讲述系统工作原理,架构和流程作了一定简化。

图片传输过程的步骤如下:

1) 发送方图片预处理,将其他图片格式转换成渐进式JPEG格式。

2) 发送方组织发送的数据流,将发送方UIN、接收方UIN,图片总长度,MTS长度等元信息组织在数据流的最前面,渐进式图片数据组织在数据流的后面。

3) 发送方发送数据,中转服务器接收数据,并且不断向发送方确认已接收到的数据长度,同时解析数据流前半部分的元信息,得到收发双方的UIN,图片总长度,以及MTS长度。

4) 当中转服务器收到MTS长度时,认为图片接收成功,将已收到的数据落地,并立刻向发送方返回图片唯一标识fileid。发送方收到fileid之后,认为图片发送成功,立刻向用户展示发送成功,然后转到后台继续发送图片剩余数据。发送方用户会体验到发图时间缩小了,发图过程变快了。

5) 如果发送方此时网络正常,图片数据将被全部发送完毕。如果发送方此时网络不稳定导致无法发送更多数据,发送过程结束,并不用记录任何状态,后续也不再重发这张图片。

6) 中转服务器在返回fileid的同时,立刻通过信令通道通知接收方收到一张新图片。

7) 接收方在收到新图片通知后,如果用户立刻查看新图片,将看到MTS长度对应的图片;如果用户没有立刻查看,而是过一段时间后查看图片,服务器可能已收到更多甚至完整的图片数据,用户将看到比MTS更清晰的图片。

8) 接收方在展示图片时,无需等到接收到完整图片才展示给用户,收到多少就展示多少,用户无需等待,直接看到一个从模糊到清晰变化的图片,大大缩小收图等待时间。

五、其他说明

1、 实际系统中,MTS能够根据网络传输情况动态调整,智能选择一个图片质量和传输耗时都合理的值。

2、 对未完整传输的图片,下载服务器会自动填充必要的信息,使其成为一个完成的图片,使得不支持渐进式图片格式的终端或者浏览器可以展示这张图片。

在图片用渐进式编码格式的基础上,配合流式传输的控制方式,再加上动态可调整的文件最小传输长度,是该图片传输系统的“两把刷子”,缺少任何一个因素,效果都大大减弱。

本文转载至 腾讯架构师 微信公众号

本文分享自微信公众号 - 腾讯技术工程官方号(Tencent_TEG)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Youngxj

全平台通用评论神器一键自动填写昵称、邮箱和网址

21330
来自专栏梧雨北辰的开发录

iOS11后32位应用升级

今天接受了一个改造旧项目的任务,据说项目唯独在iOS11上无法运行。这很容易就让我们想到与最近苹果iOS11放弃支持32位应用的事件有关。确实我在平时开发的项目...

28630
来自专栏星流全栈

微信小程序原理

1.2K30
来自专栏木子昭的博客

个人项目汇总多人在线聊天程序百度文库在线爬虫在线合成头像图虫网资源爬取双端适配优秀站点分享:

多人在线聊天程序 简介: 通过ajax实现多人在线匿名聊天,聊天过程中,可随时更换昵称,聊天人数无上限,后端为Django ? 在线地址:http://3q...

38850
来自专栏贾鹏辉的技术专栏@CrazyCodeBoy

快速创建React Native App

尊重版权,未经授权不得转载 本文出自:贾鹏辉的技术博客(http://www.devio.org) 告诉大家一个好消息,为大家精心准备的React N...

48840
来自专栏优启梦

百度搜索引擎指令大全 会有用到的时候

把搜索词放在双引号中,代表完全匹配搜索,也就是说搜索结果返回的页面包含双引号中出现的所有的词,连顺序也必须完全匹配。百度和Google 都支持这个指令。

43460
来自专栏达摩兵的技术空间

touch-action导致安卓页面无法滚动

相信大家搜css touch-action很容易搜到一批文章,但感觉自己还是需要写下自己这这个过程中的一些探索经历。

1.2K00
来自专栏优启梦

全平台通用评论神器一键自动填写昵称、邮箱和网址

我们在访问网站时,看到一篇文章,想发表评论时,是否经常要在评论框里手动填写自己的昵称、E-mail 和网址等留言评论信息?重复的打字会让我们感到很乏味。 为了解...

480150
来自专栏前端黑板报

构建离线web应用(一)

本文由哔哩哔哩前端工程师 墨白 翻译分享 我喜欢移动app,而且也是那些坚持使用Web技术构建移动应用程序的人之一。 经过技术的不断迭代(可能还有一些其它的东西...

356100
来自专栏木头编程 - moTzxx

找到一款免费的网页天气插件

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

64520

扫码关注云+社区

领取腾讯云代金券