6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办、大数据技术标准推进委员会承办、中国IDC圈协办的2019大数据产业峰会在北京国际会议中心隆重召开。 腾讯游戏孙龙君、农益辉和刘天斯作为数据资产管理和知识图谱领域专家应邀出席。 腾讯游戏数据资产管理平台从300+申报中脱颖而出，荣获“2019年度大数据星河奖”，并获颁“数据管理平台基础能力测评”证书。 同时，腾讯游戏知识图谱平台“游谱”也于现场获颁“知识图谱工具基础能力测评”证书。 由腾讯游戏孙龙君、农益辉、刘天斯、黄志、陈才和赵丽萍参与编撰
数据猿导读 11月3日下午，由热云数据，极光推送，Testin主办的《数据·运营·营销|移动互联网那些不得不说的事儿》线下沙龙在北京举办。Testin运营总监潘志刚、极光推送高级工程师李静、热云数据副
12 月 3 日、4日，2022 Apache IoTDB 物联网生态大会在线上圆满落幕。大会上发布 Apache IoTDB 的分布式 1.0 版本，并分享 Apache IoTDB 实现的数据管理技术与物联网场景实践案例，深入探讨了 Apache IoTDB 与物联网企业如何共建活跃生态，企业如何与开源社区紧密配合，实现共赢。
导语 | 数字经济时代，诞生了海量数据资源，促使数据存储技术也在不断推陈出新。12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴。 分布式存储产品能力上新，助力企业进一步降本增效 随着数字技术与实体经济的进一步融合，各行各业对云存储的需求越来越大，当下，国内云存储市场也在迅速发生变化。 腾讯云存储产品总监崔剑指出，“全球数据量呈现指数级增长，
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能，通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
双 11 的大幕已经落下，在大型电商平台各自晒出漂亮成绩单的同时，相信也有很多人关注小程序的第一次双 11「考试」。
我们首先去Ubuntu的官网下载一个Ubuntu16.04的iso镜像文件。当然里面也有优麒麟，其实就是把Ubuntu16.04汉化了一下，个人推荐安装Ubuntu16.04 体验上可能好一些。
MongoDB的日志文件在设置 logappend=true 的情况下，会不断向同一日志文件追加的，时间长了，自然变得非常大。
作者 | 吴瑞诚 文章来源GitChat，CSDN独家合作发布，查看交流实录：http://gitbook.cn/books/58f8d1b07624530e1545fb7a/index.html 斗鱼是时下国内最大的游戏直播平台，日活用户达2000万，主播日活达40,000人，ALEXA全球排名约200名、国内约20名（高于优酷、Bilibili等站）。本文作者吴瑞诚，目前负责斗鱼数据平台部，本文中他将分享斗鱼大数据这块的玩法儿，包括斗鱼大数据平台的整体架构、斗鱼数据仓库、斗鱼个性推荐系统以及斗鱼风
“要做数据安全，先要了解数据流通环节有什么威胁，哪些威胁会导致数据漏洞和数据风险。如果没有风险和漏洞，那么外面的威胁其实也并不可怕，就像房子都没有门窗，自然不用担心小偷。”
自我介绍 我是吴瑞诚，现在负责斗鱼数据平台部，今天给大家分享一下斗鱼大数据这块的玩法。我先做个自我介绍，我是11年初华科通信硕士毕业就进入淘宝，主要做HBase相关开发，后来回武汉后在1号店转向应用架
2022年第二届运筹优化及 人工智能研讨会第二轮通知 PART ONE 会议介绍 各位专家、学者、同学： 感谢您对本届研讨会的持续关注！“第二届运筹优化及人工智能研讨会”将于2022年7月30日至8月1日在西安举办，由西北工业大学管理学院承办，研讨会聚焦运筹优化及人工智能技术和应用，旨在打造学界与业界交流合作平台，深度交流最新研究成果和前沿技术发展，探讨推动运筹优化及人工智能算法在交通运输、物流供应链、智能制造、智慧医疗和企业管理等领域中的应用。 本次会议特别邀请了一批在国
11月11日24：00，双11收官，一场超11天、268小时的全球快递“云监工”直播也落下了帷幕，这场“马拉松”直播一共被人民日报等全国70多家媒体转播，仅视频号和抖音号就吸引了超3000万人次围观，很多网友直呼做“云监工”时“快递小哥治好了我的精神内耗。”观摩跨越山海的包裹、看着勤劳奔波的快递小哥，盯着不知疲倦的智能仓机器人，欢乐且解压。
就连“大炮”任志强也加入到这场论战中：“90后不买房是没有买的能力，也没到买的时候，年轻人就该买不起房！”
日志是记录系统中各种问题信息的关键，也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
本文大纲： Abstract Introduction 研究动机 TDSQL整体架构 TDSQL对时态数据库的需求 T-TDSQL核心技术与系统的价值 T-TDSQL解决了的问题 Acknowledgments References 1 Abstract TDSQL是腾讯公司研发的一款事务型分布式数据库。 T-TDSQL是基于TDSQL的一个分布式全时态数据库。其特点是可扩展、多版本事务管理、分布式存储和计算、强数据一致性和强同步机制，且提供有效时间、事务时间双时态的全态数据存储、管理、计算。 这
原文：http://www.enmotech.com/web/detail/1/735/1.html （复制链接，打开浏览器即可查看）
使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示：
墨墨导读：本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历，这里先抛砖引玉，欢迎大家一起交流讨论。
点击关注公众号，Java干货及时送达 来源：https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如
数据猿导读 随着数据量的不断增大、接入的系统越来越多，系统加工效率逐步降低，满足内部数据分析和监管机构的监管数据不断增加的需求，农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
Dongyu，资深云原生研发工程师，专注于日志与OLAP领域，主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。
面对即将到来的双11购物狂潮，小伙伴们最担心的恐怕不是优惠力度不够，或者是钱包有点瘪，而是买买买之后，要经过多长时间的漫长等待，才能拿到自己的宝贝呢？为了加速整个物流过程，阿里、京东等公司可谓花了血本，历经多年打造的黑科技项目，能否应对今年的双11呢？ 菜鸟智能发货引擎：为每一个包裹匹配最合适的快递公司 为客户选择一个合适的快递公司，以最快的速度将货物送到客户手中是每个商家的心愿，然而在现实中，大部分商家选择快递是，基本都是凭经验、比价格的方式按区域对订单包裹进行分配，因为没有办法全面了解各家快递公司的优势
生产环境中一台mysql主机存在单点故障，所以我们要确保mysql的高可用性，即两台MySQL服务器如果其中有 一台MySQL服务器挂掉后，另外一台能立马接替其进行工作。 MySQL的高可用方案一般有如下几种： keepalived+双主，MHA，PXC，MMM，Heartbeat+DRBD等，比较常用的是keepalived+双主，MHA和PXC。 本节主要介绍了利用 keepalived 实现 MySQL 数据库的高可用。 Keepalived+mysql双主来实现MySQL-HA，我 们必须保证两台MySQL数据库的数据完全一样，基本思路是两台MySQL互为主从关系，通过Keepalived配置虚 拟IP，实现当其中的一台MySQL数据库宕机后，应用能够自动切换到另外一台MySQL数据库，保证系统的高可 用。 一、配置两台MySQL主主同步 该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改 变。MySQL将事务写入二进制日志。在事件写入二进制日志完成后，master通知存储引擎提交事务。 下一步就 是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程 在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日 志中读取事件，如果已经同步了master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日 志。 SQL slave thread（SQL从线程）处理该过程的后一步。SQL线程从中继日志读取事件，并重放其中的事 件而更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS 的缓存中，所以中继日志的开销很小。 主主同步就是两台机器互为主的关系，在任何一台机器上写入都会同 步。 若mysql主机开启了防火墙，需要关闭防火墙或创建规则。 master1有关复制的配置如下：
SpringBoot默认使用Logback打印日志，出于性能考虑想要改用Log4j2，需要修改POM中的依赖，移除默认的Logback依赖：
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
inux ext2/ext3文件系统使用索引节点来记录文件信息，作用像windows的文件分配表。索引节点是一个结构，它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。一个文件系统维护了一个索引节点的数组，每个文件或目录都与索引节点数组中的唯一一个元素对应。系统给每个索引节点分配了一个号码，也就是该节点在数组中的索引号，称为索引节点号。 linux文件系统将文件索引节点号和文件名同时保存在目录中。所以，目录只是将文件的名称和它的索引节点号结合在一起的一张表，目录中每一对文件名称和索
假设url部分我们只有action和method , 某个控制器下的某个方法 , 比如:log/loginlog 查看日志下的登陆日志, action就是log , method就是loginlog
作者 CDA 数据分析师 前言 2017年7月29日，由CDA数据分析师主办，以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天，除了引人眼球的主会场以外，当天同步开放11个分论坛，我们将逐一推送每个分论坛的盛况，以及演讲嘉宾速记稿整理，给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会下午的大数据与金融分论坛中，来自IBM、诸葛io、民生银行等六位专家与教授，分享了大数据在金融领域的实践和应用 人工智能助
截至美东时间周一收盘，苹果股价下跌5.04%，市值蒸发489亿美元，194.17美元每股的股价，已是三个月来最低点。
这里的后端基础设施主要指的是应用在线上稳定运行需要依赖的关键组件或者服务。开发或者搭建好以上的后端基础设施，一般情况下是能够支撑很长一段时间内的业务的。此外，对于一个完整的架构来说，还有很多应用感知不到的系统基础服务，如负载均衡、自动化部署、系统安全等，并没有包含在本章的描述范围内。
AWS re: Invent 2018上，AWS CEO Andy Jassy发布了QLDB - Quantum Ledger Database(量子账本数据库)[1]。引用Amazon关于QLDB的FAQ[2]，QLDB是一款特型数据库，它能够提供应用数据全部的历史变迁。 QLDB与我们之前提出的TDSQL全时态数据库有些相似，本文分析比较QLDB和TDSQL全时态数据库的异同。 一、 生产背景 1.1 QLDB产生背景 Andy Jassy提到，QLDB其实已经在AWS中稳定运行了几年，为EC2
【编者按：全时态数据为数据安全、数据重演、数据挖掘和AI技术的施展提供了物理基础。这篇入选VLDB 2019的论文介绍，基于腾讯云TDSQL扩展而来的全时态数据库系统（T-TDSQL），在保证OLTP性能的前提下提供了轻量级的全时态数据管理功能和全时态数据的事务处理能力、以及集当前态数据于生产系统集历史态数据于分析型系统的集群架构，构成了全时态数据的完备解决方案。】
点击▲关注 腾讯云数据库 2019年8月26日-30日，数据库领域顶尖学术会议 VLDB 2019在美国加利福尼亚召开，腾讯TDSQL数据库团队与中国人民大学最新联合研究成果被VLDB 2019接收并将通过长文形式发表。该论文提出了一种拓展的全时态数据模型，并提供了内建的全时态数据库解决方案，通过引入异步数据迁移、增量历史数据管理、原生全时态查询执行器等策略，使得该解决方案可实现轻量且高效的全时态数据管理计算，在保持全局一致性的基础上拥有高效的性能，真正实现为数据赋能。这是继去年腾讯TDSQL相似度计
2019年MongoDB中文社区年终盛会将于2020年1月4日（星期六）在深圳福田区车公庙附近召开。来现场，您将收获3大专场经验加持：
12 月 8 日晚 19:00，「Milvus 冬日限定趴」 在 Zilliz 视频号直播间与大家相聚！在 2.2 新版本发布之际，Milvus 社区用户的老朋友，Zilliz 研发工程师李成龙带来了 Milvus 新功能的解读。来自什么值得买的架构师杨守斌和苏宁的智能运营研发中心技术总监宋志也来到直播间与大家分享了 Milvus 在电商领域中的实践。
注意，remotehost 字段可以是 http-guide.com 那样的主机名，也可以是 209.1.32.44 这样的 IP 地址。 第二个(username)和第三个(auth-username)字段之间的破折号说明字段为空。这说明要么是没有进行 ident 查找(第二个字段为空)，要么是没有进行认证(第三 个字段为空)。
数字化浪潮之下，众多传统零售商和互联网企业都已运用大数据、人工智能等先进技术手段实现了产业变革与发展。数据作为各行业领域与各类资源的核心载体，在其发展过程中扮演着不可或缺的角色。越来越多的企业和机构意识到数据智能驱动业务提升效率所带来的价值与重要性。 但随着数据资源总量的不断增长，数据主权和安全问题日益突出，企业信息系统、业务系统的正常运行遭受着严重的威胁。同时，随着《数据安全法》的出台，大数据的安全性与隐私性也将越来越被重视。如何在合法合规的前提下既能保护数据安全与数据隐私、又能促进企业发展与营
首先我们看看 pm2 的自带日志管理功能，pm2的日志模块默认是每一个服务进程都分配两个默认的日志文件，这两个日志文件存放于/root/.pm2/logs中
“在同一个赛场，每位运动员都在努力奔跑，可是却不知道有的选手已经坐上了跑车。毫无疑问，这样会跑得更快。” 在昨天的图灵机器人创新大会上，图灵机器人CEO俞志晨这样评价公司近一年的发展状况。据官方发布会数据： 截止7月11日，图灵机器人平台第三方开发者突破了23万，对比图灵去年10月份发布的数据，增长了110%，与此同时，在过去8个月新增了162亿次的服务请求。技术方面，语义理解准确率已经提升到95.5%。 之所以可以成为国内人工智能的领跑者，俞志晨认为图灵拥有的“跑车”有三大优势： 强大的技术，Turi
数据要素，是过去一年以来最热的一个词，2020年3月30号，中共中央，国务院发布了《关于构建更加完善的要素市场化配置体制机制的意见》中明确提出了把数据作为生产要素进入市场化配置，这是在国家层面大力扶持数字经济，作为中国未来发展重要举措之一。从银保监会的数据治理指引及更严格的数据管控，到市场的数据霸权垄断监管；数据交易市场在中国大地如雨后春笋般的迸发，诸如数据标注等依托数据要素的新业态，新商业模式的涌现，经过一年多的实践和沉淀，蓦然回首，我们发现妨碍我们进一步跃升的是数据的质量，以及提升数据质量的难，和无法承
马云说过：企业价值大小决定于解决“痛点”的能力，解决的问题越重要，企业的价值越大。不要去争当“首富”，而是要争当“首负”，必须对用户、对社会负责。一句话，企业的业绩营收和解决用户问题的能力相辅相成。
2021年12月11日，由雷峰网 & AI 掘金志主办的第四届中国人工智能安防峰会，在深圳正式召开。
微服务架构是一种软件开发模式，它将一个复杂的应用程序拆分为多个个独立的、小型的、可复用的服务，每个服务负责一个特定的业务功能。
为了保证应用的高可用和高并发性，一般都会部署多个节点；对于定时任务，如果每个节点都执行自己的定时任务，一方面耗费了系统资源，另一方面有些任务多次执行，可能引发应用逻辑问题，所以需要一个分布式的调度系统，来协调每个节点执行定时任务。
2019 年 03 月 26 日，TiDB 发布 3.0.0 Beta.1 版，对应的 TiDB-Ansible 版本为 3.0.0 Beta。相比 3.0.0 Beta 版本，该版本对系统稳定性、易用性、功能、优化器、统计信息以及执行引擎做了很多改进。
导语：全时态数据为数据安全、数据重演、数据挖掘和AI技术的施展提供了物理基础。这篇入选VLDB 2019的论文介绍，基于腾讯云TDSQL扩展而来的全时态数据库系统（T-TDSQL），在保证OLTP性能的前提下提供了轻量级的全时态数据管理功能和全时态数据的事务处理能力、以及集当前态数据于生产系统集历史态数据于分析型系统的集群架构，构成了全时态数据的完备解决方案。 前言 腾讯与中国人民大学于2017年起，依托于腾讯TEG计费平台部丰富的实战经验和中国人民大学数据工程与知识工程教育部重点实验室的多年学术积累
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
