学习
实践
活动
专区
工具
TVP
写文章
  • 广告
    关闭

    618夏日盛惠

    2核2G云服务器首年95元,GPU云服务器低至9.93元/天,还有更多云产品低至0.1折…

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    干货 | 如何做AB实验分流

    AB实验可以简单认为是传入一个实验号和用户分流ID到AB实验分流器,分流器吐出分流版本A、B、C、D等,通过截取应用流量落地一段时间的分流数据,就可以分析具体版本的优劣,决定启用新版本或者沿用老版本。 三、改进方案 本文将从AB实验分流器整体设计,收口,SDK设计和分流器后台选型设计方面进行分享,主要说明如何提升AB分流器的分流效率,希望给AB实验特别是AB实验分流器的开发人员带来一定的启发和帮助。 下图概括了AB实验分流主要接口的收口工作(左边是旧分流器接口,右边是新分流器接口): [4ci7gaxpel.png] 3.3 AB实验分流器SDK设计 分流器收口的效果是显而易见的,原来需要跨部门多个接口沟通解决的事情 单一一个配置文件会让携程App访问公司qconfig服务器成为一个很大的IO操作,多个配置文件会让携程App收到这些改动的实验配置信息后,还要进行聚合操作。 qconfig中会存在一个“长连接”来进行实时配置信息推送,每个AB实验应用的多个设备上都会建立一个和AB实验分流后台qconfig服务器上的这样的连接。

    2.8K20

    聊聊storm trident batch的分流与聚合

    序 本文主要研究一下storm trident batch的分流与聚合 实例 TridentTopology topology = new TridentTopology(); 的聚合数据都到了之后,才能finishBatch b-2主要是处理CombinerAggregator的combine以及each操作 整个数据流从spout开始的一个batch,到了b-0通过partitionBy分流为 groupBy/partitionBy是按batch来的;当parallelism大于1时,原始的spout在emit一个batch的时候,会分发到多个partition/task,原始batch的数据流就被分流了 parallelism大于1时,就按batchId将数据分发到不同的partition/task aggregate操作用于聚合数据,一般配合groupBy或partitionBy,会对上游的batch再次进行分流 ,然后按分流后的batch来aggregate;这个时候如果parallelism大于1,则是分task来进行aggregate,之后还想把这些聚合在一起的话,可以配合global().aggregate

    40120

    聊聊storm trident batch的分流与聚合

    序 本文主要研究一下storm trident batch的分流与聚合 apache-storm-vs-spark-streaming-two-stream-processing-platforms-compared 的聚合数据都到了之后,才能finishBatch b-2主要是处理CombinerAggregator的combine以及each操作 整个数据流从spout开始的一个batch,到了b-0通过partitionBy分流为 groupBy/partitionBy是按batch来的;当parallelism大于1时,原始的spout在emit一个batch的时候,会分发到多个partition/task,原始batch的数据流就被分流了 parallelism大于1时,就按batchId将数据分发到不同的partition/task aggregate操作用于聚合数据,一般配合groupBy或partitionBy,会对上游的batch再次进行分流 ,然后按分流后的batch来aggregate;这个时候如果parallelism大于1,则是分task来进行aggregate,之后还想把这些聚合在一起的话,可以配合global().aggregate

    62510

    马蜂窝ABTest多层分流系统的设计与实现

    导致多业务方需求需要开发出很多分流系统,针对不同的场景也难以复用。 为了解决以上问题,我们的分流系统选择基于 Openresty 实现,通过 HTTP 或者 GRPC 协议来传递分流信息。 稳定分流保障:MurmurHash算法 分流算法我们采用的 MurmurHash 算法,参与算法的 Hash 因子有设备 id、策略 id、流量层 id。 要设计好一套完整的 ABTest 平台,需要进行很多细致的工作,由于篇幅所限,本文只围绕分流算法进行了重点分享。 采用流量分层并绑定实验的策略,可以更精细直观的去定义分流实验。通过和客户端上报已命中实验版本的机制,减少了服务数据的存储并可以实现串行实验分流的功能。

    1.6K30

    Nginx通过split_client实现客户端分流

    之前介绍过Nginx通过cookie做灰度发布,通过判断cookie,将不同的请求根据需求分流到不同的后端,如图 ? 上面的方法是通过判断cookie来进行分流的,其实在Nginx中专门有个模块是做客户端分流的——split_clients 在nginx官网文档中,定义split_clients是可以用来构建适用于A/ 它这句话,如果你没使用split_clients的话,比较难理解,其实它就是定义了一组变量,通过使用变量来进行分流 如果你读了上面通过cookie做灰度发布的话,里面有关于nginx中map的介绍,你会发现 我们可以把该变量作为内部自定义变量用在很多地方,比如上图中,将该变量用在upstream的命名中,这个时候,我们就可以通过remote_ip、cookie_hash、url_hash等你需要的变量来进行分流 ,让不同的客户端,访问到对应的upstream上游服务器,配置示例如下: ?

    1.9K30

    TAP交换机分流器功能对比

    TAP分流器是什么 TAP分流器是一种外部网络设备,在ICT圈内已经出道多年,用户对其功能用途早已熟记于心:通过串接或并接在网络中,采集网络镜像或者分光的流量数据,可将一个端口的流量数据复制到多个端口、 可能正是因为TAP的使用场景比较聚焦,所以圈内对其称呼也可能是:镜像交换机、TAP分流器、流量分流器、流量汇聚分流器、NPB等等。 TAP分流器的需求“水涨船高” 随着数据中心、云计算场景等大规模网络普及,对数据进行监控和分析的需求也随之骤增。 除了基础汇聚分流功能,也支持包括IP分片重组、TCP乱序重组、报文截短、报文去重、隧道封装、隧道剥离、隧道终结、纳秒级时间戳、报文脱敏、SSL解密等深度业务处理的高级功能。 /复制/负载均衡/同源同宿等汇聚分流功能,同时可以灵活地设置L2/L3/L4/L7层并发过滤策略,极大的简化了客户复杂流量策略环境下的配置流程,节省设备接口。

    32430

    开放网络的今天,汇聚分流器的明天

    前言 汇聚分流器一直是网络基础设施的一个重要组成部分。通过为通信网络和数据中心提供完整的网络可视性,它可以帮助运维人员监控网络性能,优化相应的安全部署,因而汇聚分流器在大规模网络中变得至关重要。 汇聚分流器的演进 传统模式下,汇聚分流器通常采用垂直整合的方式,也就是说设备商提供软件与硬件紧耦合的黑盒设备。 在图1.1的传统模式下,被抓取的海量报文被传输到服务器上,管理员使用会话信息作为搜索键从文件中过滤出所需的数据包。 具体来讲,图2中来自网络设备端口的数据包从移动网络复制并转发到汇聚分流交换机,然后交换机进行按需的数据过滤,汇聚或者分流。 此外,为了提高分流软件的实用性,OpenNPB实现了基于QOS的网络分流,通过设定不同出端口的流量阈值,用户可以动态的调整流量在不同线路的分配权重,从而实现一种弹性的流量负载均衡。

    43920

    dnscrypt-proxy + dnsmasq的高级应用 - 智能分流DoHDoT

    3.配置文件重写基于国内外分流需求,需要写两个配置文件,一个用于国外,一个用于国内。 2.测试验证此时并没有做国内外智能分流,先单独验证下两个服务是否都正常解析。 四、Dnsmasq实现国内外域名智能分流1.修改dnsmasq上游DNS如dnsmasq还没安装配置,可参考上篇文章,直到做到dnsmasq-china-list这一步实现dnsmasq维度的国内外分流 另外,dnscrypte-proxy还有负载均衡能力,在toml配置文件中通过lb_strategy参数指定,参数范围可以是:first:总是选择列表中最快的服务器p2:随机选择前2名最快的服务器,默认选项 附带PDF版本:dnscrpt-proxy+dnsmasq的高级应用-分流实现DoH、DoT.pdfdnscrpt-proxy+dnsmasq的高级应用-分流实现DoH、DoT.pdf(亮色版).pdf

    1.9K221

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 云服务器

      云服务器

      云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。 腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注腾讯云开发者

      领取腾讯云代金券