在全网电商中，天猫双11全球狂欢节全天交易额912.17亿元，无线成交626.42亿元，无线占比68.67%。 这是创造消费奇迹的一天，超越电商自我评判的一天，不断刷新纪录的一天。...通过大数据及其分析，我们不仅能看到互联网的神一般的强大，也能从中得到许多启示。...在双十一前夕，媒体认为马云的手势暗示900亿。而实际上，马云给的那个手势代表七。...所以，这个数据值得我们深思、唤起我们的民族意识和进取意识。 4、崛起的新贵和老牌劲旅——国际品牌 这一天，非自营店铺排名前五中，有四家国字号的旗舰店，这其中3家以智能手机为主打产品。...这个双十一的狂欢已经过去，我们既消费了”双十一“的盛况，也消费了电商的产品。静下心来，好好想想，或者下一个光棍节双十一又有新的记录诞生，并崛起更多的马云、任正非、雷军....... 来源：产业前沿
每年的双十一，更是“羊毛党”攫取利益的最佳时机。据统计，2017“双11”全网总销售额达2539.7亿元。巨大的市场潜力，也在验证着坊间传言“薅上一天，够吃一年”。...今年的双十一电商节已经启动，猖獗的羊毛党还会有什么新颖的手段？同时，对于电商平台而言，究竟用什么手段才能摆脱这些“看不见的客人”？...腾讯云天御来帮忙 今年的双十一已进入倒计时，面对黑产大军的“黑云压城”，电商平台又该如何应对？如何精准识别恶意行为成为反制羊毛党的关键。...基于AI的深度应用，腾讯云天御也搭建了多层级安全体系，可从数据安全、AI 组件、AI 安全模型和风控服务四个层面对营销黑产进行分析和对抗。...在数据安全层形成数据防护线;在AI 安全模型层刻画多类型风险、定制识别引擎;在风控服务层提供营销反欺诈行业适配解决方案实现更科学、高效的黑产对抗。
数据安全管理Ranger初步认识 在大数据平台中，有海量数据存储，通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中，数据安全管理非常重要。...我们不希望一些敏感数据被他人访问，希望可以按照一种规则给部分人访问权限，以防止数据泄露，针对数据安全管理可以使用Apache Ranger实现。...一、Ranger介绍 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。...我们可以通过Ranger提供的UI界面或者Rest API来管理所有与安全性相关的任务，可以使用管理工具来对Hadoop体系中的组件进行授权。...Ranger官网：Apache Ranger – Introduction 二、Ranger架构 Ranger架构如下： Ranger-admin: Ranger实现安全管理的核心就是Ranger-admin
（2）如果两个数据中心间链路距离>25KM，建议使用裸光纤互联。 l建议使用波分设备来构建两数据中心的同城网络。l以太网交换机和FC交换机同时连接到波分设备，两个数据中心通过级联的方式互联。...网络双活核心技术 网络双活核心技术分析： 网络层双活主要通过SDN技术实现网络自动化部署，通过VXLAN构建跨数据中心大二层网络、通过EVPN技术实现跨数据中心互联，三大技术相辅相成共同实现网络层双活...网络安全层技术 网络双活核心技术分析： 双活数据中心网络安全防护建议最新等级保护2.0相关要求部署相关的安全设备进行整体安全防护。...工作流程： l区域边界安全防护：不同区域边界之间部署安全防护设备，如防火墙、网闸等。...l网络通信安全防护：在网络中部署VPN等相关设备，实现对通信内容进行加密 l计算环境安全防护：针对物理机或虚机通过安装杀毒软件等相关操作保障计算环境安全。
保障MySQL数据安全的"双1模式"简介 今天简单写写MySQL中跟数据安全相关的两个关键参数吧，一个是innodb_flush_log_at_trx_commit，另外一个是sync_binlog...当然我们需要知道，安全性和高性能是一组对立面，想要MySQL实现高性能，就得舍弃一部分安全性，承担一定数据丢失的风险；相反，想要MySQL保证安全性，就要接受一部分性能损失。..."双1设置"适合数据安全性要求非常高，而且磁盘IO写能力足够支持业务，比如订单,交易,充值,支付消费系统。...在mysql 服务崩溃或者服务器主机掉电的情况下，binary log 只有可能丢失最多一个语句或者一个事务，安全性能大大增加，但是我们说过，安全性和高性能是一把双刃剑，双1模式会导致频繁的io操作，因此该模式也是最慢的一种方式...双1模式下，当磁盘IO无法满足业务需求时 比如"双11" 活动的压力。
对其日志进行的分析其实是一种很常见的应用场景，对应用安全来说，WAF，IDS等产生告警日志是安全人员每天必看的日志。所有许多安全团队会将所有安全产品的日志汇聚到一个平台，从而诞生了安全日志平台。...2.业务接口日志→服务器本地某目录→通过syslog同步到安全日志平台 ? 3.日志格式示例见附录 日志审计平台功能 1.敏感数据定义 重要关注数据，如：身&&份证，手机号，银&&行卡等。...安全日志分析平台提供了数据操作和导出时的审计工作。...（ps：也可以对接DLP规则引擎，自动更新离职人员监控名单） 2.安全攻防能力扩展 安全日志平台可以接受不同类型的日志，也可以实现不能的安全策略从而发现更多的风险和异常，严格意义上这个可能脱离了数据安全的范畴...，使其逐步演进为一个安全基础监控平台和安全大数据平台。
双中台架构的定义 企业除了对业务信息化有需求，还存在对数据的信息化需求。因此，中台战略不能只面对业务，还需要对数据提供一个全局解决方案。...除了业务中台，还有一个很重要的中台战略落地产物，便是数据中台，数据中台负责整个企业的数据资产管理。 现在中台战略已经演化出了双中台架构，如图6所示。...图6 双中台架构 在双中台架构下，由业务中台快速支撑前台业务应用完成落地，在将各业务线的不同应用装入数据仓库进行标准化后，形成企业级的数据应用（如统一化报表、前台数据应用）。...要想落地双中台架构，最好的路径是先建设业务中台，在实现业务标准化后， 再进行数据中台建设。...ChatGPT：“有多少人工，就有多少智能” 书单 | 双12购书清单TOP10 ▼点击阅读原文，了解本书详情~
在很早之前就采集过关于淘宝双11的数据，之前也只是做了比较简单的数据分析，那么就在假日的最后，作一番比较深入的分析吧。我们的目标是：分析双十一销量的影响要素，以及要素在影响销量的比重。...一、数据来源说明： 数据来自淘宝2017年的611个产品的双十一数据，主要包括男士饰品、男装、女士视频、女鞋、女装5个品类： ?...具体的数据说明如下图，我们把双十一的销量作为分析的因变量，要探究的最终目标是包括各种优惠活动信息、评分信息等维度对销量的影响，以及分别的影响因素是什么。...二、基本的描述分析 1、双十一销量分析： 如下图，横坐标表示的是销量区间，这里为了更好地显示分析结果，对销量数据了做了log处理，纵坐标表示的是销量区间对应的频数，通过数据可以看出双十一销量为0占总数据样本的...9、商品优惠活动与销量之间的关系分析 通过下图可以看到，双十一红包和满减券在促进销量提升中还是很有帮助的，但是并不是优惠越多越好，数据表明，优惠个数在1-2个之间的效果是最好的。 ?
国标视频云服务EasyGBS支持设备/平台通过国标GB28181协议注册接入，并能实现视频的实时监控直播、录像、检索与回看、语音对讲、云存储、告警、平台级联等功能。...平台部署简单、可拓展性强，支持将接入的视频流进行全终端、全平台分发，分发的视频流包括RTSP、RTMP、FLV、HLS、WebRTC等格式。...有用户提出需求，在Linux服务环境中，登录EasyGBS会报安全漏洞的错误，希望我们能对此细节进行优化。...在原先的EasyGBS项目中，登录使用了Get请求，虽然进行了加密处理但存在安全隐患，现在需要将原先的Get请求更换成Post请求，将密码加盐处理，并增加登录验证。...登录验证的功能有利于增强平台的安全性，可以有效防范不法分子对网络进行攻击等行为，保障平台的视频等数据资源隐私性与安全性。
前言 自从2018年大数据平台升级，Hadoop/Kafka从此被Kerberos立体环绕，虽然知道kinit/kdestory/klist命令，但是每次执行都感觉云里雾绕，尤其是对接租户的时候，多次陷入尴尬的境地...于是决定去靠自己理解一下Kerberos，脱离这种没有安全感的日子。 什么是kerberos？...在大数据平台的应用中，可以给不同的资源添加不同的权限，例如HDFS的访问、kakfa的topic读写，必须带有对应权限的principal和对应的"密码"去访问。
一、概述 在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。大数据平台的用户都是公司内部人员。...数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？...最后，大数据平台的目标是赋能数据开发人员，提高数据开发效率，而安全管理必然会降低数据平台的便利性。如何平衡安全和便利性的关系，尤为重要。...有赞大数据平台安全建设是在大数据平台本身的发展以及数仓元数据建设的过程中不断演进的。概括起来可以分为三个阶段。...五、未来展望 大数据平台的安全建设并不是一项孤立的工作，而是随着大数据平台支持的业务量和业务种类越来越多，与大数据平台本身的进化而一起发展的。
作者 l 大钊每年的“双十一”都是消费市场的重头戏。当下，已有多家电商平台开启“双十一”预售。...官方数据显示，10月24日晚天猫双十一预售一小时内，3000多个品牌成交额同比去年预售同期翻倍增长。...各平台“内卷”双十一进入10月后，各电商平台先后公布双十一优惠活动细节，我们梳理了天猫、京东、抖音、快手四大典型电商平台的2022年双十一的运营策略， 发现上述平台的运营各有侧重，对这次大促似乎志在必得...根据QuestMobile数据，在淘宝直播中，美妆销售额占比达到91.2%，远高于其他品类。据天猫公布的数据，在2021年双十一期间，欧莱雅集团更是成为天猫首次出现的两大百亿品牌之一。...，财通证券《美妆：减重赛道蓝海风起，双“11”渐近大促将至》，首创证券《淘系美妆销售回暖，关注品牌商双“11”备战》，国金证券参考资料：《直播电商竞争白热化，多直播机构加码布局淘宝直播，双十一开启新增量
前言 OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，...宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。...，帮助企业安全分析人员更方便的进行数据分析和决策。...首先，整个平台除了beats和kibana，均为冗余部署，甚至流沙平台的日志接受服务器也采用了双活部署的方式；其次，预处理程序可以随时启停，实现程序的平滑升级，用户无感知；最后，为了确保稳定性，流沙平台添加了大量监控告警...通过流沙平台，安全工作人员可以将大部分精力专注于数据分析上，弥补了商业安全产品的不足，更好的帮助安全防护同学全面的了解企业的安全状态。流沙平台不仅仅是一个数据平台，更是宜信现有安全措施的重要补充。
mysql的"双1验证"指的是innodb_flush_log_at_trx_commit和sync_binlog两个参数设置，这两个是是控制MySQL 磁盘写入策略以及数据安全性的关键参数。...下面从参数含义，性能，安全角度阐述两个参数为不同的值时对db 性能,数据的影响。..."双1设置"适合数据安全性要求非常高，而且磁盘IO写能力足够支持业务，比如订单,交易,充值,支付消费系统。双1模式下，当磁盘IO无法满足业务需求时 比如11.11 活动的压力。...四、小结 系统性能和数据安全是业务系统高可用稳定的必要因素。...关于数据安全，这是数据库写入的重点？ 1，2，3过程失败就是事务失败，因为此时还未写入磁盘，对磁盘中的数据无影响，返回事务失败给client，从库也不会受到影响。
大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。...数据接入模块：由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，建议选用Kafka来实现。 流式计算模块：对采集到的数据进行实时分析，建议选用Storm来实现。...数据输出模块：对分析后的结果持久化,可以使用HDFS、MySQL等。 日志采集选型 大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。...支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。...Flume的设计目标 可靠性 Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。
- END -
除了线上线下的购物，今年阿里生态下的饿了么、盒马等都会加入双十一，简单地说，双11不再是是“买买买”的剁手节日，而是覆盖吃喝玩乐全场景的消费狂欢节。 ?...，这让其跟天猫双11有足够的差异，错开了双十一天当天天猫的锋芒，时间长可以尝试的活动形式也更多。...今年10月拼多多推出三周年庆大促，推出了系列优惠活动，比如推出大量补贴后的低价新款iPhone，帮助拼多多拉新同时提高了平台消费氛围。几乎不会怀疑，拼多多在双十一一定会有大动作。...此前据市场调研公司eMarketer的数据显示，2018年中国电商市场，京东占据16.3%，而拼多多则占据了5.2%。...可以预见今年双11会呈现出这样的消费分级趋势，不同层次的消费都会被双十一拉动，戴森这样的昂贵产品应该会卖得不错，优衣库这样的大众店也会被瞬间抢光，严选这种讲求品质的平台会占据一席之地，拼多多这类平台也有望硕果累累
三年来，腾讯安全持续以赛代练，深入产学研一体化探索，形成“发现—培养—转化”的人才培养生态链，倾力打造赛事与人才培养“双一流”的网络安全人才培养平台。...产学研一体化，打造“双一流”网络安全人才培养平台 近年来，腾讯安全在网络安全人才培养方面持续加大投入力度，着眼于产业互联网时代严峻的网络安全形势，发挥自身安全积淀和人才优势，倾力打造“双一流”网络安全人才培养平台...基于TCTF平台，腾讯安全与高校联合共建实验室和研究院，成立了腾讯安全学院，搭建人才培养体系、校企合作体系、生态助力合作体系。...由腾讯eee战队联合多个部门组成的腾讯安全战队，在堪称国内最严苛云安全实战演练赛“2018贵阳大数据及网络安全攻防演练”中获得“攻”、“防”双料冠军，展示了腾讯安全在云服务领域的技术实力。...赛场之外，TCTF 2019还将与腾讯安全国际技术峰会有机结合，以在同一地点举办的国际全明星极客赛事和国际前沿安全技术交流盛会为契机，促成建设平台更大、梯度更丰富、视野更宽广的中外极客对话交流平台，打通技术实用性与技术专业性的关联
1、大数据分析在企业安全管理平台上的应用 目前应用于大数据分析的主流技术架构是Hadoop，业界在进行大数据分析时越来越重视它的作用。...基于前面介绍过的传统企业安全管理平台面对的挑战和局限性问题，可以把Hadoop技术应用在企业安全管理平台中，发展成为新一代的企业安全管理平台，实现支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化功能...2、大数据在信息安全上的应用 大数据在信息安全上的应用主要表现为，数据的爆炸性增长给目前的信息安全技术带来了挑战，传统的信息安全技术在面对超大数据量时已经不再适宜，需要基于大数据环境的特点开发新一代安全技术...3、大数据安全分析 大数据安全分析，顾名思义，就是指利用大数据技术来进行安全分析。...在网络安全领域，大数据安全分析是企业安全管理平台安全事件分析的核心技术，而大数据安全分析对安全数据处理效果主要依赖于分析方法。
上篇文章《漫谈大数据平台架构》（阅读原文查看）大家应该对大数据平台有了一个整体架构上的理解和认识，作为姊妹篇，本篇着重讲解大数据平台安全风险与建设。 大数据平台安全伴随着大数据平台而生。...（2）大数据平台安全机制缺陷：Hadoop生态架构在设计初期对用户身份鉴别、访问控制、密钥管理、安全审计等方面考虑较少，并且大数据应用中多采用第三方开源组件，对这些组件缺乏严格的测试管理和安全认证。...（4）数据量大、潜在价值高，极易成为攻击目标：大数据平台处理环节多，需要针对数据采集、传输、存储、处理、交换和销毁等生命周期各阶段进行安全防护，在不同阶段采取适合的安全技术保护机制。...4）安全技术体系：公司开展大数据安全防护建设相关要求和实施方法，体系设计涵盖数据流转各环节数据安全防护通用技术要求、大数据平台各类基础设施及应用组件安全基线配置能力要求等。...5）加密：应对数据加密。 三、结束语： 综上所述，结合笔者自己的实践，大数据平台安全建设应根据平台规模、大数据安全建设人员投入数量、历史案件比例等因素做调整，最合适的是才是最好的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
