腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

媒矿工厂

专栏作者

887

文章

1046214

阅读量

236

订阅数

CacheGen:语言模型应用程序的快速上下文加载

性能压缩缓存模型系统

凭借其令人印象深刻的生成能力，大语言模型(LLM)被广泛应用于各个领域。公共LLM的API(例如GPT-4)和应用框架(例如Langchain)的广泛使用，结合开源的满足工业应用质量要求的LLM(例如Llama)，进一步提高了LLM的受欢迎程度。随着LLM越来越多地被用于复杂任务，许多应用程序通过使用包含至少数千个标记的长上下文LLM来增强它们的输入(即提示)。例如，某些上下文用领域知识文本补充用户提示，以便LLM可以使用LLM本身嵌入的信息之外的领域知识来生成响应。另一个例子是，一些上下文利用用户和LLM之间交互过程中积累的对话历史来补充用户提示。这种长上下文的趋势很好地反映在最近训练接受更长上下文输入的LLM的竞赛中，从ChatGPT中的2K Tokens到Claude中的100K(见图1)。虽然较短上下文输入能力的LLM仍然有用，但许多研究表明，较长的上下文输入通常有助于提高模型响应的质量和一致性。

2024-01-17

2020

CMCD 处理实时真实数据

缓存 cdn 编程算法 ide javascript

CMCD（Common Media Client Data，通用媒体客户端数据）是连接用户播放器和内容分发的桥梁。CDN 每秒钟可以看见上百万个二进制信息的传递，在用户端，用户看见的是一个回放窗口里面存有最近几分钟的缓存数据可用于回放，我们想将这两种场景融合在一起，这是 CMCD 的关键点。CMCD 诞生于 Mile-High Video，我们在两年前的 Mile-High Video 会议上提议在用户请求中加入会话 ID，Dolby David 建议我们投入更多的精力将其变成一种标准。因此我们在会议结束后建立了一种原始的简单的标准，我们定义了一组结构化的键值对，将对双方都有益的媒体相关的信息从播放器传递到 CDN，通过以下三种形式：1）一组常规的头（A set of custom headers)。2）一个索引自变量(A query arg)。3）一个 JSON 对象。之所以称为常规是因为同样的数据结构可以被所有的播放器和所有的 CSDN 使用。

2022-05-25

1.4K0

W3C: 媒体制作 API (2)

api 缓存编程算法 javascript

今天，我想谈谈最近一个叫做 WebCodecs API 的API。特别是当在 web 平台上与其他 API 一起使用此 API 时的内存访问模式。我们将讨论访问视频帧时的一些原始性能数据，WebCodes 目前为最小化内存、访问开销所做的工作，以及 API 目前存在的一些问题，其中有一个解决方案，但尚未实现。更重要的是，我们将在未来解决两个更难的问题，这样使用 WebCodec 将具有与本地应用相同的性能。

2022-05-25

8870

HLS 的新特性

cdn dns ide php 缓存

随着用户的增多，许多媒体公司从很多不同的角度需要多 CDN。在许多区域，对于冗余和故障转移，或者在许多高并发的大型活动中，多 CDN 可以分配和缓解负载。在多 CDN 体系结构中，流媒体服务的内容（图像、视频文件等）在不同地理区域的多个 CDN 提供商之间缓存。借助于智能负载均衡算法和在传输管道的不同点收集的数据，客户端的传入流量分布在这些多个 CDN 提供商之间，从而提供了更大的冗余和性能优势。

2022-05-24

1.1K0

开放式缓存

缓存 cdn 存储云直播

开放式缓存是由流媒体视频联盟开发的一个开放的、非专有的架构。简单地说开放式缓存是现有方法的扩展，用于传递互联网内容，可以使用 ISP 网络“最后一英里”的服务器进行传递，开放式缓存架构如图 1 所示。图的右侧是传统互联网流媒体内容来源，无论是来自简单地馈送到互联网上的 CDN，还是直接连接到 ISP 网络的 CDN, 这是当今典型的流媒体内容来源。开放式缓存的作用是它有一系列规范和 API，在左侧看到的服务器基本上位于 ISP 网络的最后一英里处，可以通过这些现有方法传输内容。最终用户无论是无线或有线宽带接入或移动设备，当他们从内容提供商那里获取内容时，他们将被重定向到位于 ISP 网络内的开放式缓存。

2022-04-11

4730

使用边缘计算来增强流传输

php 云点播 cdn 缓存

在许多时候，视频服务提供商或许会有一个巨大的内容库，用户会不定期选择查看这些内容，而视频服务提供商希望不断在视频流播放过程中提供新的功能，平台也还会有其他的要求。此外在满足这些新要求的同时，如何提升用户体验也是重要的。这就是动态边缘应用（Dynamic Edge Application）的设计出发点，并且该动态边缘应用还能实现视频流的格式统一，降低存储和传输开销。

2022-04-11

6990

CDNI元数据模型扩展

cdn http 缓存 api

CDNI(Content Delivery Networks Interconnection) 是一个定义了一系列接口 IETF 标准，该标准使得上游CDN(uCDNs)能够将请求委托给下游CDN (dCDNs)。而 Open Caching 是 CDNI 的一个特殊的使用案例。其中内容提供商或是商业的 CDN 服务器一般作为 uCDN, 而 ISP 中的一个 caching layer则是作为 dCDN。

2022-04-11

4840

采用姿态传感器信息的深度在线视频稳像

unix 批量计算缓存

本文介绍我们最新发表在IEEE Transaction on Multimedia(TMM)的工作，采用姿态传感器信息的深度在线视频稳像。在该论文中，我们构建了含有7种典型拍摄场景的数据集。并且设计了一种自适应地滤波模型，仅使用3或者10帧的缓存，高效地进行路径优化。

2022-03-08

1.2K1

用于高效跨格式低延迟交付的通用CMAF容器

缓存 cdn http

2020 年发布了端到端延迟在 2 秒范围内的两个 HTTP 自适应流 (HAS) 标准的更新：低延迟 DASH (LL-DASH) 和低延迟 HLS (LL-HLS)。这些标准和操作模式都是独立开发的，虽然它们可以在内容交付系统中部署为单独的流，但如果这两种流格式都可以统一由一组媒体对象提供服务，那么打包、源、CDN 和播放器等模块都会获得性能和成本的增益。

2022-02-18

1.1K0

HLS 内容转向和插页式广告规范介绍

cdn ide dns php 缓存

随着用户的增多，许多媒体公司从很多不同的角度需要多 CDN。在许多区域，对于冗余和故障转移，或者在许多高并发的大型活动中，多 CDN 可以分配和缓解负载。在多 CDN 体系结构中，流媒体服务的内容（图像、视频文件等）在不同地理区域的多个 CDN 提供商之间缓存。借助于智能负载均衡算法和在传输管道的不同点收集的数据，客户端的传入流量分布在这些多个 CDN 提供商之间，从而提供了更大的冗余和性能优势。

2022-02-18

7320

Milan 视频技术交流会分享

javascript tcp/ip cdn 缓存分布式

会议由来自 videodeveloper.io 的 Andrea Fassina 主持。他首先回顾了上一期（6th Milan Meetup）中的内容：直播、数据质量、可交互体积视频以及智能编码，并简介了本场会议的其他三位嘉宾：来自 Evolution 的 Behnam Kakavand、来自 Akamai 的 Luca Moglia、来自 Elecard 的 Alexey Malikov。

2022-02-18

5690

通用媒体客户端数据 CMCD

cdn html 缓存

CMCD(Common Media Client Data) 是由 CTA WAVE(Web Application Video Ecosystem) 创立的项目，并得到了 Apple、Hulu、Dolby 等组织的支持。并在 2020 年 9 月发布。

2022-02-18

1.4K0

用于实时 3D 重建的深度和法线的高速同测量

图像处理编程算法缓存

物体的 3D 形状测量有许多应用领域，如机器人，3D接口、存档和复制等，而 3D 扫描仪已经商用。尽管如此，现存大多数 3D 形状测量系统捕获多个子帧，来测量单个深度图或单个点云，帧速率仅为 30 fps。这种方法在测量动态对象时，系统可能会因子帧之间的模糊或位移而导致噪声和误差。因此，需要单帧高速测量方法来处理移动或变形的目标，例如传送带上的产品、手势和非刚体。另一方面，在仅具有单帧的基于三角测量的方法中，测量的 3D 点云将是稀疏的，因为它难以获得密集的对应关系。而在使用飞行时间 (ToF)相机的情况下，由于散粒噪声，单帧深度的精度也相对较低。因此，为了实现对动态物体的密集、准确和高速的 3D 形状测量，不仅需要简单地在单帧中加速过程，还需要用别的方式提升测量精度和效率。

2021-12-02

7550

别让延迟毁了你的长尾："dref MP4 "缓存介绍

打包缓存存储

本文来自DEMUXED，演讲者是Boy van Dijk，是来自Unified Streaming的流解决方案工程师，介绍了一种用于大规模的、动态打包的、按需交付远程存储内容的优化MP4。

2021-03-25

5390

CDN的第四层-缓存-媒体服务-计算

cdn 缓存图像处理

本文来自内容分发秋季峰会2020的一篇演讲，主要讨论了开放式缓存。主持人是Jason Thibeault，美国流媒体视频联盟执行总监，演讲者分别是：Eric Klein-迪士尼+ CDN技术总监，Dan Newman-Viasat产品经理，Josh Chesarek- stackpath.com销售工程和支持副总裁。

2021-03-10

5150

未来展望：边缘计算与CDN

serverless cdn php 缓存

本文来自Streaming Media的一次演讲，演讲者是来自AWS Amazon Web Services的Heather Chamberlin Mellish和Crunchyroll工程副总裁Michael Dale，演讲的主题是“未来展望：边缘计算与CDN”。

2021-01-11

6420

扩展不同视频播放中的读取操作

api 缓存存储云直播云点播

本次演讲来自Video @Scale 2020，演讲者是来自Facebook的软件工程师David Zhang。本次演讲主要介绍了Facebook如何将不同播放场景中的视频I\O操作方法进行结合，并提高I\O操作的效率和灵活性的方法。

2020-12-24

7940

使用带有字节范围寻址的LL-HLS来实现低延迟流中的互操作性

cdn 缓存 http

原标题：Using LL-HLS with Byte-range Addressing to Achieve Interoperability in Low Latency Streaming

2020-12-11

1K0

低延迟仍是一个挑战

缓存 udp cdn api

本文来自streaming media的研讨会，主题是：低延迟仍然是一个挑战。主持人是流媒体视频联盟执行总监Jason Thibeault。

2020-06-24

6830

使用RIST或SRT进行实时云内容提取

本篇是来自SMPTE 2019的演讲，演讲者是来自Net Insight的Doug Shelton和Mikael Wånggren，演讲题目是“Live Cloud Ingest Using an Open Approach to RIST, SRT andRetransmission Protocols”。

2020-03-04

1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态