首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

基于信息论的编码技术

信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法,来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。次年,他又发表了另一篇著作《噪声下的通信》。人们认为这两篇文章成了现在信息论的奠基著作。1959年香农发表了“保真度准则下的离散信源编码定理”,首先提出了率失真函数及率失真信源编码定理,此后发展成为信息率失真编码理论。现在,信息理论广泛应用在通信、计算机等领域,随着通信安全与质量的高要求化,编码技术也在不断地突飞猛进。

03

Turbo码应用

Turbo码提出两年之内就被首次硬件芯片实现,并一直受到理论研究者和实验科学家的重视。从1997年开始,Turbo码和相关主题的国际会议每隔三年举行一次。 第一次会议(1997年)主要议题集中在编码器串并设计、交织器设计、解码器算法上,当时已经有人提出用DSP进行实时Turbo解码。在这个会议前后已经有了最早采用Turbo 码的商用通信系统。 第二次会议(2000年)的主要内容在分析和提高Turbo码的性能上,并且出现了关于Turbo码在衰落信道等非高斯信道上的研究。也有不少的研究在为实现Turbo码的DSP解码而需要做的简化解码复杂度的问题。对于Turbo码在传送不同信源的研究也在逐步进行中。 第三次会议(2003年)时,Turbo码和其他相关通信技术的结合与应用被更多的关注,多用户检测、与BLAST的结合、多天线信道解码等具体的应用问题也被更多的提到。关于硬件电路和软件实现也是热点之一。有关“类Turbo”码技术,如低密度校验(LDPC)码技术又重新被提出。在Turbo码提出十年左右的时候,它已经发展的比较完善,并且进入应用服务领域。 由于Turbo码的优越性能,研究者在将它用于应用系统上作出了很多努力。例如移动卫星通信系统、数字音频广播、数字视频广播、深空通信、深空网、UMTS/3GPP、CDMA 等系统。除此之外,Turbo码技术也被应用到信息隐藏领域,例如视频和图象的加密和数字水印技术上。Turbo码的思想也被用于分布式信源编码的研究和信源信道联合编码技术中。

02

多模态图表理解新SOTA: TinyChart-3B,兼顾性能和效率

作为一种重要的信息来源,图表(Chart)能够直观地展示数据关系,被广泛地应用于信息传播、商业预测和学术研究中 [1]。随着互联网数据的激增,自动化图表理解受到广泛关注,近期诸如GPT-4V、QwenVL-Max和Gemini-Ultra等通用闭源多模态大模型都展现出一定的图表理解能力,开源模型Chartllama [2]、ChartAst [3]等也在图表问题回答、图表总结和图表转换等任务上取得强大的性能。然而,目前开源的图表理解模型有以下三个局限:(1)模型参数规模庞大,难以部署到应用中。例如Chartllama包含13B参数,无法直接部署到单张小于26 GB显存的消费级显卡上 [4]。(2)模型容易出现数值错误,尤其是回答涉及数值计算的问题时 [3]。(3)模型无法高效处理高清图片,而许多关键信息(比如OCR文本)往往需要在较高分辨率下才清晰可见。并且,考虑到标准视觉Transformer会产生较长的视觉特征序列,直接提高输入分辨率又会带来计算效率问题。

01
领券