6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办、大数据技术标准推进委员会承办、中国IDC圈协办的2019大数据产业峰会在北京国际会议中心隆重召开。 腾讯游戏孙龙君、农益辉和刘天斯作为数据资产管理和知识图谱领域专家应邀出席。 腾讯游戏数据资产管理平台从300+申报中脱颖而出,荣获“2019年度大数据星河奖”,并获颁“数据管理平台基础能力测评”证书。 同时,腾讯游戏知识图谱平台“游谱”也于现场获颁“知识图谱工具基础能力测评”证书。 由腾讯游戏孙龙君、农益辉、刘天斯、黄志、陈才和赵丽萍参与编撰
作者 | 吴瑞诚 文章来源GitChat,CSDN独家合作发布,查看交流实录:http://gitbook.cn/books/58f8d1b07624530e1545fb7a/index.html 斗鱼是时下国内最大的游戏直播平台,日活用户达2000万,主播日活达40,000人,ALEXA全球排名约200名、国内约20名(高于优酷、Bilibili等站)。本文作者吴瑞诚,目前负责斗鱼数据平台部,本文中他将分享斗鱼大数据这块的玩法儿,包括斗鱼大数据平台的整体架构、斗鱼数据仓库、斗鱼个性推荐系统以及斗鱼风
自我介绍 我是吴瑞诚,现在负责斗鱼数据平台部,今天给大家分享一下斗鱼大数据这块的玩法。我先做个自我介绍,我是11年初华科通信硕士毕业就进入淘宝,主要做HBase相关开发,后来回武汉后在1号店转向应用架
我们首先去Ubuntu的官网下载一个Ubuntu16.04的iso镜像文件。当然里面也有优麒麟,其实就是把Ubuntu16.04汉化了一下,个人推荐安装Ubuntu16.04 体验上可能好一些。
导语 | 数字经济时代,诞生了海量数据资源,促使数据存储技术也在不断推陈出新。12月1日,在2022腾讯全球数字生态大会存储专场上,腾讯云发布了多款云存储产品能力上新,并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享,为广大企业实现数字化转型和业务创新提供参考借鉴。 分布式存储产品能力上新,助力企业进一步降本增效 随着数字技术与实体经济的进一步融合,各行各业对云存储的需求越来越大,当下,国内云存储市场也在迅速发生变化。 腾讯云存储产品总监崔剑指出,“全球数据量呈现指数级增长,
微服务架构是一种软件开发模式,它将一个复杂的应用程序拆分为多个个独立的、小型的、可复用的服务,每个服务负责一个特定的业务功能。
数据猿导读 11月3日下午,由热云数据,极光推送,Testin主办的《数据·运营·营销|移动互联网那些不得不说的事儿》线下沙龙在北京举办。Testin运营总监潘志刚、极光推送高级工程师李静、热云数据副
12 月 3 日、4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕。大会上发布 Apache IoTDB 的分布式 1.0 版本,并分享 Apache IoTDB 实现的数据管理技术与物联网场景实践案例,深入探讨了 Apache IoTDB 与物联网企业如何共建活跃生态,企业如何与开源社区紧密配合,实现共赢。
“天下武功,无坚不摧,唯快不破” 2019年6月6日 下午6:06分 全民女神林志玲宣布结婚,这是一条爆炸新闻,究竟有多炸??,一会儿我再给你分析,看到这条消息的这一刻,我的心里也一阵悲叹,为什么在全
墨墨导读:本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历,这里先抛砖引玉,欢迎大家一起交流讨论。
12 月 8 日晚 19:00,「Milvus 冬日限定趴」 在 Zilliz 视频号直播间与大家相聚!在 2.2 新版本发布之际,Milvus 社区用户的老朋友,Zilliz 研发工程师李成龙带来了 Milvus 新功能的解读。来自什么值得买的架构师杨守斌和苏宁的智能运营研发中心技术总监宋志也来到直播间与大家分享了 Milvus 在电商领域中的实践。
点击关注公众号,Java干货及时送达 来源:https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用,为用户提供在线或者离线服务。因此,一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况,笔者认为必不可少或者非常关键的后端基础技术/设施如
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能,通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
双 11 的大幕已经落下,在大型电商平台各自晒出漂亮成绩单的同时,相信也有很多人关注小程序的第一次双 11「考试」。
本系列为小白入门整个AI项目教程,主要涉及双系统的搭建,linux的使用,安装caffe-gpu版本,利用caffe实现目标检测,并移植模型到android移动端,也就是手机端进行目标检测,本篇为安装双系统的教程。
本系列为小白入门整个AI项目教程,主要涉及双系统的搭建,linux的使用,安装caffe-gpu版本,利用caffe实现目标检测,并移植模型到android移动端,也就是手机端进行目标检测,本篇为安装双系统的教程,本人保证为原创并使目前全网基本上最最详细的手把手教程
MongoDB的日志文件在设置 logappend=true 的情况下,会不断向同一日志文件追加的,时间长了,自然变得非常大。
2019年MongoDB中文社区年终盛会将于2020年1月4日(星期六)在深圳福田区车公庙附近召开。来现场,您将收获3大专场经验加持:
为了保证应用的高可用和高并发性,一般都会部署多个节点;对于定时任务,如果每个节点都执行自己的定时任务,一方面耗费了系统资源,另一方面有些任务多次执行,可能引发应用逻辑问题,所以需要一个分布式的调度系统,来协调每个节点执行定时任务。
点击▲关注 腾讯云数据库 2019年8月26日-30日,数据库领域顶尖学术会议 VLDB 2019在美国加利福尼亚召开,腾讯TDSQL数据库团队与中国人民大学最新联合研究成果被VLDB 2019接收并将通过长文形式发表。该论文提出了一种拓展的全时态数据模型,并提供了内建的全时态数据库解决方案,通过引入异步数据迁移、增量历史数据管理、原生全时态查询执行器等策略,使得该解决方案可实现轻量且高效的全时态数据管理计算,在保持全局一致性的基础上拥有高效的性能,真正实现为数据赋能。这是继去年腾讯TDSQL相似度计
“要做数据安全,先要了解数据流通环节有什么威胁,哪些威胁会导致数据漏洞和数据风险。如果没有风险和漏洞,那么外面的威胁其实也并不可怕,就像房子都没有门窗,自然不用担心小偷。”
2022年第二届运筹优化及 人工智能研讨会第二轮通知 PART ONE 会议介绍 各位专家、学者、同学: 感谢您对本届研讨会的持续关注!“第二届运筹优化及人工智能研讨会”将于2022年7月30日至8月1日在西安举办,由西北工业大学管理学院承办,研讨会聚焦运筹优化及人工智能技术和应用,旨在打造学界与业界交流合作平台,深度交流最新研究成果和前沿技术发展,探讨推动运筹优化及人工智能算法在交通运输、物流供应链、智能制造、智慧医疗和企业管理等领域中的应用。 本次会议特别邀请了一批在国
导读:etcd 是阿里巴巴内部容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色,接受了 双11 大压力的检验。为了让更多同学了解到 etcd 的最佳实践和阿里巴巴内部的使用经验,本文作者将和大家分享阿里巴巴是如何把 etcd 升级得更强、更稳、更高效的,希望通过这篇文章让更多人了解 etcd, 享受云原生技术带来的红利。
为积极响应国家及教育部的政策方针,以加强新工科专业建设及师资培养,促进新时代云计算领域的人才培养,新工科联盟联合腾讯公司于2019年11月23日在广州召开“云开发师资培训班”。 本次研讨班邀请来自暨南大学、广东工业大学的专家和腾讯公司云开发的行业专家现场授课,为有志于在高校实施实践教学和创新创业教育等工作的教师提供深入培训及交流机会,促进高校人才培养体系改革,进一步推动产业稳定发展。 组织机构 主办单位: 信息技术新工科产学研联盟数据科学与大数据技术工作委员会 信息技术新工科产学研联盟教师培训工作委员会
监控数据采集领域,比如 Prometheus 生态有非常多的 Exporter,虽然生态繁荣,但是无法达到开箱即用的大一统体验,Exporter 体系的核心问题有:
摘要 坊间一直有“网易出品,必属精品”的言论流传,网易云音乐、考拉海购、有道云笔记、网易云课堂等都是深受大家喜爱的应用,而这些应用的背后,都少不了网易蜂巢的支撑。目前网易95%以上的应用都已经部署在了
1.Redis的持久化: RDB(默认) 二进制存储持久化数据,速度相对较快 持久化时机:save second keys RDB无法保证数据的安全 2.AOF AOF是一日志的形式持久化,用户的写操作,速度慢 AOF持久化时机:always ,everysec,no AOF相对RDB更加安全 3.官方推荐同时开启RDB和AOF两种持久化机制 在恢复数据时,AOF的持久化优先级更高 同时开启AOF和RDB ,在RDB执行持久化时,RDB数据会被AOF覆盖 4.AOF重写 自动重写:指定AOF的文件超过技术的
日志是记录系统中各种问题信息的关键,也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
Ubuntu安装过程中,磁盘分区是我们头疼的环节,如果直接按照安装程序推荐总感觉分得不太对,磁盘用着用着就不够用了,特别是装双系统的情况下,本文介绍一下笔者的分区方案。
原文:http://www.enmotech.com/web/detail/1/735/1.html (复制链接,打开浏览器即可查看)
本文大纲: Abstract Introduction 研究动机 TDSQL整体架构 TDSQL对时态数据库的需求 T-TDSQL核心技术与系统的价值 T-TDSQL解决了的问题 Acknowledgments References 1 Abstract TDSQL是腾讯公司研发的一款事务型分布式数据库。 T-TDSQL是基于TDSQL的一个分布式全时态数据库。其特点是可扩展、多版本事务管理、分布式存储和计算、强数据一致性和强同步机制,且提供有效时间、事务时间双时态的全态数据存储、管理、计算。 这
使用Java后端技术的目的就是构建业务应用,为用户提供在线或者离线服务。因此,一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况,笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示:
作为菜鸟,为了满足我自己的求知欲,特别照着几篇大神教程装了一遍,给大家分享一下流程。
如今pc和手机的操作系统已被垄断,但是这个垄断却未必能在物联网时代延续,一个新兴的物联网操作系统浪潮正在袭来。本文介绍了全球各大厂家的物联网操作系统。
HVV行动已经进行到了11天,处置的工作明显增多,随着各种情况发生,所以这两天分别整理一些关于Linux和Windows的排查手册。
数据猿导读 随着数据量的不断增大、接入的系统越来越多,系统加工效率逐步降低,满足内部数据分析和监管机构的监管数据不断增加的需求,农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
Dongyu,资深云原生研发工程师,专注于日志与OLAP领域,主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。
数据要素,是过去一年以来最热的一个词,2020年3月30号,中共中央,国务院发布了《关于构建更加完善的要素市场化配置体制机制的意见》中明确提出了把数据作为生产要素进入市场化配置,这是在国家层面大力扶持数字经济,作为中国未来发展重要举措之一。从银保监会的数据治理指引及更严格的数据管控,到市场的数据霸权垄断监管;数据交易市场在中国大地如雨后春笋般的迸发,诸如数据标注等依托数据要素的新业态,新商业模式的涌现,经过一年多的实践和沉淀,蓦然回首,我们发现妨碍我们进一步跃升的是数据的质量,以及提升数据质量的难,和无法承
2020 年是元数据管理兴起的一年。在 Datakin 你可以看到元数据管理的发展历史。在前人努力的基础上,Datakin 和其它的开源数据血缘以及架构软件,比如 Airflow,Amundsen,Datahub,dbt,Egeria,Great Expectations,Iceberg,Marquez,Pandas,Parquet,Prefect,Spark 和 Superset 宣布开放血缘(Open Lineage)倡议。
简述 从 2020 年 11 月 1 日开始,第七次全国人口普查工作进入到正式登记阶段,700 万普查员走街串巷,他们需要在 15 天内,对近 14 亿人口进行入户登记,完成十年一度的「大国点名」。 与以往不同,本次大国点名全量上云,由腾讯云+企业微信为14亿人服务。腾讯云从业务部署、业务测试、压力测试到最终上线,并提供完善的日志,监控服务,只用了短短数月的时间,全程护航,让700万B 端用户,14亿C 端用户规模的服务稳定高效上线。 那么,腾讯云是如何支撑第七次全国人口普查的呢? 背景 十年一度
在2023年11月12日,刚经过双11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。从阿里云健康看板公布的数据可以看出,阿里云的几乎所有的云产品等服务都受到了影响,影响了全球范围内多个地域。阿里云这次故障,放在整个云厂商界都是炸裂般的存在。阿里云历时3个多小时,服务才陆续恢复。
上一文章中,我们了解了HDFS的架构和读写流程。 HDFS通过将文件分块来存储大文件,HDFS的组件有NameNode和DataNode,分别负责提供元数据和数据服务 在读/写数据时,HDFS客户端需要先从NameNode上获取数据读取/写入的DataNode地址,然后和DataNode交互来完成数据读/写。
导读:MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一,许多全球规模庞大、发展迅速的组织,Facebook、Google、Adobe、Alcatel Lucent和Zappos等都依靠MySQL来管理数据,为其高容量网站、关键业务系统和套装软件提供支持。
本文是WOT2016互联网运维与开发者大会的现场干货, 新一届主题为WOT2016企业安全技术峰会将在2016年6月24日-25日于北京珠三角JW万豪酒店隆重召开! 卢学裕的演讲分为小米数据工场的技
点击上方蓝字关注我们吧 作者简介:孙旭,腾讯云高级工程师。10年数据库内核研发经验,熟悉PostgreSQL、Teradata数据库内核,熟悉数据库的查询优化、执行、事务并发以及存储等子系统;对分布式数据库有深入的研究和研发经验。目前在腾讯云从事CynosDB数据库研发工作。 ---- 2019年5月8日-10日,DTCC2019年中国数据库大会上,腾讯云数据库高级工程师孙旭,受邀做了主题为《CynosDB for PostgreSQL一主多读架构》的技术分享,以下为大会现场演讲内容。 关注“腾讯云数据
生产环境中一台mysql主机存在单点故障,所以我们要确保mysql的高可用性,即两台MySQL服务器如果其中有 一台MySQL服务器挂掉后,另外一台能立马接替其进行工作。 MySQL的高可用方案一般有如下几种: keepalived+双主,MHA,PXC,MMM,Heartbeat+DRBD等,比较常用的是keepalived+双主,MHA和PXC。 本节主要介绍了利用 keepalived 实现 MySQL 数据库的高可用。 Keepalived+mysql双主来实现MySQL-HA,我 们必须保证两台MySQL数据库的数据完全一样,基本思路是两台MySQL互为主从关系,通过Keepalived配置虚 拟IP,实现当其中的一台MySQL数据库宕机后,应用能够自动切换到另外一台MySQL数据库,保证系统的高可 用。 一、配置两台MySQL主主同步 该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前,master在二日志记录这些改 变。MySQL将事务写入二进制日志。在事件写入二进制日志完成后,master通知存储引擎提交事务。 下一步就 是slave将master的binary log拷贝到它自己的中继日志。首先,slave开始一个工作线程——I/O线程。I/O线程 在master上打开一个普通的连接,然后开始binlog dump process。Binlog dump process从master的二进制日 志中读取事件,如果已经同步了master,它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日 志。 SQL slave thread(SQL从线程)处理该过程的后一步。SQL线程从中继日志读取事件,并重放其中的事 件而更新slave的数据,使其与master中的数据一致。只要该线程与I/O线程保持一致,中继日志通常会位于OS 的缓存中,所以中继日志的开销很小。 主主同步就是两台机器互为主的关系,在任何一台机器上写入都会同 步。 若mysql主机开启了防火墙,需要关闭防火墙或创建规则。 master1有关复制的配置如下:
SpringBoot默认使用Logback打印日志,出于性能考虑想要改用Log4j2,需要修改POM中的依赖,移除默认的Logback依赖:
数据的一致性和完整性对于在线业务的重要性不言而喻,如何保证数据不丢呢?今天我们就探讨下关于数据的完整性和强一致性,MySQL做了哪些改进。
领取专属 10元无门槛券
手把手带您无忧上云