同盾科技是中国领先的人工智能科技企业。为了确保服务的低延迟和高可用性，同盾的技术团队不断寻找最佳的技术架构。经过长时间调研，他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库，基于 TiDB 打造的实时数据架构为风控智能决策保驾护航。
今天分享一下大数据领域的数仓，随着系统的增多，数据量的逐渐庞大，传统的数据库难以满足需求，于是出现了系统之间纵横交错的调用，链路变得十分复杂，并且到了一定的数据量，关系型数据库难以支撑各种应用，这时候势必会引入数据仓库，在进入正题前，我们先认识一下数仓。
数据量的增长其实一直是随着互联网的发展呈现爆发式增长的，因为各种各样的数据都在不断的被原样或者是经过少量的更改和增补后拷贝到互联网的各个角落。为了适应互联网数据的海量增长，在后端和架构意义上而言，数据库的发展也大致经历了「单库单表 -> 主从读写分离 -> 分表分库 -> NoSQL -> NewSQL」这样的过程。
分享一b/s报表工具（服务），积木报表（JiMuReport），张代浩大佬出品。 官网：http://www.jimureport.com/ 离线版官方下载：https://github.com/zhangdaiscott/JimuReport
1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据量也不大，随便搞个数据库，然后SQ
随着大数据的爆红，数据分析师这个职位也得到了越来越多的关注，千千万万懂些大数据技术的少年们都渴望成为高大上的“大数据科学家”，可是，你们真的准备好了吗？ 1、最早的数据分析可能就报表
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！
Apache Hive 是基于 Apache Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并且提供了 Hive SQL 进行查询和分析，在离线数仓中被广泛使用。
下载地址： https://dev.mysql.com/downloads/installer/
OLAP 是一个很卷的赛道，创业公司也众多。在本文中，笔者基于 10+ 年的大数据与数据仓库的工作经验，就目前的主流趋势：离在线一体化、引擎一体化、云原生化等写一些思考，抛砖引玉，希望能与各位共同探讨。
需求背景：有个 调用统计日志存储和统计需求 ，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于 直接入库并发太高，可能会把mysql干垮 。
4、下载ubutu安装包并解压，这个是Ubuntu_1804.2019.522.0_x64版本。将下载的安装包为appx的扩展名改为zip。可以从这个地址下载：见文末。然后解压。用管理员身份执行ubuntu.exe程序。等几分钟输入用户名和密码。
最新版本 MySQL 下载路径：https://dev.mysql.com/downloads/windows/installer/8.0.html
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
作者简介 荣华，携程高级研发经理，专注于后端技术项目研发管理。 军威，携程软件技术专家，负责分布式缓存系统开发 & 存储架构迁移项目。 金永，携程资深软件工程师，专注于实时计算，数据分析工程。 俊强，携程高级后端开发工程师，拥有丰富SQLServer使用经验。 前言 携程酒店订单系统的存储设计从1999年收录第一单以来，已经完成了从单一SQLServer数据库到多IDC容灾、完成分库分表等多个阶段，在见证了大量业务奇迹的同时，也开始逐渐暴露出老骥伏枥的心有余而力不足之态。基于更高稳定性与高效成本控制而设计
有些时候我们做渗透并不是一定要进到内网，拿到域控，进而拿下一整个域内的机器，一是不可能每次运气都那么好，能够通过一些exp批量扫得一些机子，二是在打内网的过程中会有许多不同的情况，导致会花费大量的时间
我们使用Django来操作MySQL，实际上底层还是通过Python来操作的。因此我们想要用Django来操作MySQL，首先还是需要安装一个驱动程序。在Python3中，驱动程序有多种选择。比如有pymysql以及mysqlclient等。这里我们就使用mysqlclient来操作。mysqlclient安装非常简单。只需要通过 pip install mysqlclient 即可安装。如果安装失败，我们可以到 离线的python库的网站中找到我们需要的相对应的版本，下载下来，然后再pip安装。
使用yum命令进行安装mysql数据库 #yum -y install mariadb-server
在如今数据库管理中，应对MySQL中的热点数据更新一直是业内的一大挑战，尤其在秒杀等高并发场景中显得尤为重要。如果处理不当，可能会造成数据库系统崩溃。
Hi,大家好,我是麦洛,今天我们聊聊MySQL的备份和恢复,在下面文章中,你会了解到MySQL常见的备份类型,以及基于mysqldump命令在日常开发中如何做MySQL数据库以及表的备份和恢复。最近开始玩公众号了,喜欢的小伙伴可以关注我
大家可能都在用MySQL，其实我也是在用MySQL的，但是你知道吗？大部分人都是在windows中使用，这里将介绍一下在windows中的安装分为安装包安装与MSI包安装，以及在linux中的在线安装与离线安装。 一、MySQL简介 1.1、MySQL简介 MySQL一般特制完整的MySQLRDBMS，是一个开源的关系型数据库管理系统（Relational Database Management System），现在属于Oracle公司。1 随着MySQL功能的不断完善，性能不断提高，又
mysqldump的产出物是一个包含了建表，插入数据的SQL语句集合，类似于这样：
DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
关于TSINGSEE青犀视频平台数据库切换的操作步骤、迁移数据时遇到的异常等相关技术类文章，我们在博文中分享过很多，感兴趣的用户可以翻阅我们的往期文章进行了解。TSINGSEE青犀视频的旗下视频平台默认数据库是SQLite，用户可以根据需求将其更换为MySQL数据库。
移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要网络连接；“在线+离线”混合模式则比较复杂，通常情况下系统数据存储在服务器端，移动终端暂存部分数据，因而形成了分布式异构数据库。在移动应用运行过程中，当移动终端或服务器端执行数据更新操作后，为了保证数据的完整性和一致性，需要进行双向的数据同步。然而，由于移动网络本身具有复杂性、动态性、弱连接性以及通信延迟与带宽相对有限等特性，因而移动应用的数据同步技术备受考验。
上一章聊到时序数据是什么样，物联网行业中的时序数据的特点：存量数据大、新增数据多（采集频率高、设备量多）。详情请见：
在《如何安装及使用Prometheus》文中有对Prometheus 做简单的介绍，并且通过node_exporter的模板示例介绍了如何监控主机信息。本文主要介绍如何使用Prometheus监控MySQL数据库信息
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了
MySQL技术专家，现任爱可生技术服务总监，负责MySQL数据库在传统行业客户的应用推广与技术咨询，曾为运营商、银行、证券、保险、航空等行业内数家大型企业提供MySQL技术咨询服务。
本文由 PingCAP 研发工程师雷宇分享，主要从宏观角度分析 TiDB 究竟能做什么，创造什么样的价值，以及研发过程中的一些设计立足点。 文章将从四个部分分享：
Oracle GoldenGate 是一款实时访问、基于日志变化捕捉数据，并且在异构平台之间迚行数据传输的产品。GoldenGate TDM是一种基于软件的数据复制方式，它从数据库的日志解析数据的变化（数据量只有日志的四分之一左右）。GoldenGate TDM将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达10:1的压缩率对数据迚行压缩，可以大大降低带宽需求。在目标端，GoldenGate TDM可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的。
本文介绍了企查查在数据中台建设中使用 TiDB 的经验和应用。通过从 MySQL 到 TiDB 的迁移，企查查构建了基于 TiDB+ Flink 的实时数仓框架 ，充分利用了 TiDB 的分布式架构、MySQL 兼容性和完善的周边工具等特性，实现了数据的在线化处理。2023 年 9 月，企查查的 TiDB 数据库已升级至 v7.1.1 版本。文章还分享了企查查在使用 TiDB 过程中的一些好用特性和版本升级经验，包括 TiDB 开源社区的活跃以及 TiDB 的稳定性对其决策的重要性。
小红书使用 TiDB 历史可以追溯到 2017 年甚至更早，那时在物流、仓库等对新技术比较感兴趣的场景下应用，在 2018 年 5 月之后，我们就开始逐步铺开，延展到其他适合 TiDB 的场景中去。截止目前，小红书使用的 TiDB 节点数在 200+ 个，未来也有更大扩展空间。
在 D:\mysql-5.7.20-winx64 安装目录下新建文本文件 重命名为 my.ini
现在的IM系统，消息都要落地存储。这样如果接收消息的用户不在线，等他下次上线时，能获取到消息数据。
在头条APP海量用户与海量文章之上，使用lambda大数据实时和离线计算整体架构，利用黑马头条用户在APP上的点击行为、浏览行为、收藏行为等建立用户与文章之间的画像关系，通过机器学习推荐算法进行智能推荐
在公司内部，我们数据团队有幸与顺风车业务线深入合作，在满足业务方实时数据需求的同时，不断完善实时数仓内容，通过多次迭代，基本满足了顺风车业务方在实时侧的各类业务需求，初步建立起顺风车实时数仓，完成了整体数据分层，包含明细数据和汇总数据，统一了DWD层，降低了大数据资源消耗，提高了数据复用性，可对外输出丰富的数据服务。
注：文中使用的是Navicat Premium 12.x，Navicat 11.x与12.x的加密方式有一些不同，实际上按照11.x的方式解密就可以了
写在前面： 博主是一名软件工程系大数据应用开发专业大二的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为一
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j3OUucRa-1627099407310)(20210316_分布式NoSQL列存储数据库Hbase（一）.assets/image-20210316180046440.png)]
通常的命名方式是：ODS_应用系统名(或缩写)_数据库类型_(数据库名称可省略)_数据表名_加载方式（增量还是全量），表名不能太长，一般不超过30字。如：
随着闲鱼业务的发展，用户规模达到数亿级，用户维度的数据指标，达到上百个之多。如何从亿级别的数据中，快速筛选出符合期望的用户人群，进行精细化人群运营，是技术需要解决的问题。业界的很多方案常常需要分钟级甚至小时级才能生成查询结果。本文提供了一种解决大数据场景下的高效数据筛选、统计和分析方法，从亿级别数据中，任意组合查询条件，筛选需要的数据，做到毫秒级返回。
MySQL是目前最为流行的开放源码的数据库，是完全网络化的跨平台的关系型数据库系统，它是由瑞典MySQLAB公司开发，目前属于Oracle公司。任何人都能从Internet下载MySQL软件，而无需支付任费用，并且“开放源码”意味着任何人都可以使用和修改该软件。
近年来，随着数据规模越来越大，以及由此衍生出数据实时化的诉求激增，产生了一系列大数据相关的业务场景，场景复杂性高以及业务多维度是明显的两个特点，因此出现许多了实时数仓架构来满足业务需求。
有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，可以满足指标的快速查
当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。
我们公司主要从事平台技术开发和建设方面，工作的重点方向主要在解决用户在数据治理中的各种问题，让用户能更高效地管理自己的数据，进而产生更大的价值，比如如何整合现有功能流程，节省用户使用成本；增加新平台不断调研，丰富平台功能；新平台功能、性能改造，从而满足用户大规模使用需求；根据业务实际需求，输出相应的解决方案等。今天分享的内容主要是从数据库内核到大数据平台底层技术开发，分享网易数据科学中心多年的大数据建设经验。
2019年7月17日 ⋅ 浏览量: 4
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
FlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾），并维护该开源社区。目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
