腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
知了一笑
专栏作者
举报
302
文章
202780
阅读量
29
订阅数
订阅专栏
申请加入专栏
全部文章（302）
数据库（53）
sql（52）
微服务（52）
编程算法（49）
java（48）
api（40）
spring（31）
容器（27）
分布式（25）
存储（20）
云数据库 SQL Server（19）
缓存（15）
网络安全（14）
大数据（13）
数据分析（12）
node.js（11）
打包（11）
网站（11）
http（11）
配置（11）
jdk（10）
hadoop（10）
jvm（10）
xml（9）
云数据库 Redis（9）
apache（9）
腾讯云测试服务（9）
管理（9）
jdbc（8）
zookeeper（8）
kafka（8）
数据（8）
servlet（7）
文件存储（7）
spring boot（7）
服务（7）
接口（7）
linux（6）
数据结构（6）
https（6）
对象存储（5）
负载均衡（5）
jar（5）
容器镜像服务（5）
mapreduce（5）
开源（5）
mybatis（5）
面向对象编程（5）
aop（5）
jenkins（5）
spring cloud（5）
Elasticsearch Service（5）
bash（4）
ide（4）
git（4）
负载均衡缓存（4）
消息队列 CMQ 版（4）
日志数据（4）
电商（4）
dubbo（4）
es（4）
框架（4）
设计模式（4）
c++（3）
python（3）
html（3）
json（3）
android（3）
nosql（3）
postgresql（3）
mvc（3）
搜索引擎（3）
unix（3）
TDSQL MySQL 版（3）
企业（3）
数据安全（3）
yarn（3）
压力测试（3）
hashmap（3）
tcp/ip（3）
安全（3）
hbase（3）
任务调度（3）
部署（3）
分页（3）
工具（3）
镜像（3）
日志（3）
系统（3）
研发（3）
javascript（2）
scala（2）
全文检索（2）
nginx（2）
bash 指令（2）
短信（2）
kubernetes（2）
数据迁移（2）
二叉树（2）
cdn（2）
微信（2）
架构设计（2）
验证码（2）
bi（2）
表单（2）
测试（2）
登录（2）
集群（2）
监控（2）
开发（2）
实践（2）
算法（2）
语法（2）
原理（2）
源码（2）
费用中心（1）
其他（1）
官方文档（1）
自动驾驶（1）
php（1）
bootstrap（1）
ajax（1）
github（1）
tomcat（1）
maven（1）
日志服务（1）
访问管理（1）
命令行工具（1）
云数据库 MongoDB（1）
SSL 证书（1）
数据加密服务（1）
cci 持续集成（1）
数字营销（1）
mongodb（1）
express（1）
serverless（1）
自动化（1）
运维（1）
shell（1）
spark（1）
ssh（1）
hive（1）
yum（1）
markdown（1）
rpc（1）
socket编程（1）
uml（1）
小程序（1）
机器人（1）
数据处理（1）
windows（1）
数据可视化（1）
系统架构（1）
信息流（1）
云计算（1）
unicode（1）
接口测试（1）
flink（1）
智能推荐平台（1）
add（1）
app（1）
bigdecimal（1）
bug（1）
chatgpt（1）
config（1）
copy（1）
deployment（1）
directory（1）
dp（1）
elasticsearch（1）
factory（1）
file（1）
ibatis（1）
module（1）
ole（1）
public（1）
quartz（1）
redis（1）
reflection（1）
rocketmq（1）
root（1）
security（1）
server（1）
service（1）
session（1）
spi（1）
static（1）
token（1）
web（1）
版本管理（1）
报表（1）
编程（1）
对象（1）
工程师（1）
工作（1）
继承（1）
基础（1）
脚本（1）
开发环境（1）
客户端（1）
可视化（1）
路由（1）
软件（1）
设计（1）
视频（1）
数据管理（1）
索引（1）
统计（1）
推送（1）
线程池（1）
异步（1）
异常（1）
优化（1）
注解（1）
字符串（1）
搜索文章
搜索
搜索
关闭
分布式系统中数据存储方案实践
微服务
存储
日志数据
缓存
在项目研发的过程中，对于数据存储能力的依赖无处不在，项目初期，相比系统层面的组件选型与框架设计，由于数据体量不大，在存储管理方面通常容易被轻视，当项目发展进入到中后期阶段，系统的复杂性很大程度来源于数据层面；
知了一笑
2022-11-30
646
0
自动化集成：Docker容器入门简介
打包
容器镜像服务
容器
存储
Docker作为开源的应用容器引擎，可以把应用程序和其相关依赖打包生成一个Image镜像文件，是一个标准的运行环境，提供可持续交付的能力，通过镜像文件可以创建多个Docker容器，这里可以理解为类创建对象的原理；镜像文件可以推送到仓库Repository中，这里可以理解为Git仓库管理代码的原理。
知了一笑
2021-12-30
377
0
数据管理：业务数据清洗，落地实现方案
数据库
数据分析
sql
容器
存储
在系统业务开发的过程中，都会面临这样一个问题：面对业务的快速扩展，很多版本在当时没有时间去全局考虑，导致很多业务数据存储和管理并不规范，例如常见的问题：
知了一笑
2021-07-07
712
0
数据仓库组件：HBase集群环境搭建和应用案例
数据库
sql
unix
编程算法
存储
Hadoop原生的特点是解决大规模数据的离线批量处理场景，HDFS具备强大存储能力，但是并没有提供很强的数据查询机制。HBase组件则是基于HDFS文件系统之上提供类似于BigTable服务。
知了一笑
2021-01-25
502
0
Hadoop框架：NameNode工作机制详解
node.js
安全
存储
大数据
NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和edits的合并。
知了一笑
2020-11-02
552
0
Hadoop框架：HDFS简介与Shell管理命令
存储
node.js
shell
大数据
hadoop
大数据领域一直面对的两大核心模块：数据存储，数据计算，HDFS作为最重要的大数据存储技术，具有高度的容错能力，稳定而且可靠。HDFS(Hadoop-Distributed-File-System)，它是一个分布式文件系统，用于存储文件，通过目录树来定位文件;设计初衷是管理数成百上千的服务器与磁盘，让应用程序像使用普通文件系统一样存储大规模的文件数据，适合一次写入，多次读出的场景，且不支持文件的修改，适合做数据分析。
知了一笑
2020-10-10
610
0
虚拟机系列 | JVM特点，基础结构与执行周期
打包
ide
jvm
存储
java
虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现。在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作。
知了一笑
2020-09-27
607
0
SpringBoot2 整合MinIO中间件，实现文件便捷管理
存储
html
MinIO是一个开源的对象存储服务。适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
知了一笑
2020-07-31
1.2K
0
数据源管理 | Kafka集群环境搭建，消息存储机制详解
网络安全
kafka
容器
存储
文件存储
Kafka集群中有一个broker会被选举为Controller，Controller依赖Zookeeper环境，管理集群broker的上下线，所有topic的分区副本分配和leader选举等工作。
知了一笑
2020-06-16
568
0
数据源管理 | OLAP查询引擎，ClickHouse集群化管理
存储
编程算法
数据分析
数据库
sql
ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），主要用于OLAP在线分析处理查询，能够使用SQL查询实时生成分析数据报告。
知了一笑
2020-05-20
880
0
MySQL基础篇(05)：逻辑架构图解和InnoDB存储引擎详解
云数据库 SQL Server
存储
全文检索
分布式
数据库
可以通过如下命令查看连接配置信息：SHOW VARIABLES LIKE '%connect%';可以看到最大连接和每个连接占用的内存等相关配置。
知了一笑
2020-03-11
841
0
MySQL基础篇(03)：系统和自定义函数总结，触发器使用详解
编程算法
存储
云数据库 SQL Server
sql
数据库
当向用户表 t01_user 写入数据时，同时向 t02_back 表写入一份备份数据。
知了一笑
2020-01-22
535
0
MySQL基础篇(02)：从五个维度出发，审视表结构设计
云数据库 SQL Server
存储
数据库
数据安全
sql
MySQL的字段类型有很多种，可以根据数据特性选择合适的，这里只描述常见的几种类型。
知了一笑
2020-01-02
804
0
微服务架构案例(03)：数据库选型简介，业务数据规划设计
云数据库 SQL Server
存储
hbase
云数据库 Redis
TDSQL MySQL 版
主要使用三种数据存储：MySQL(划分三个业务库)，ElasticSearch(单台)，Redis(单台)。
知了一笑
2019-11-05
566
0
SpringBoot2 整合 ClickHouse数据库，实现数据高性能查询分析
数据库
sql
数据分析
存储
文件存储
一、ClickHouse简介 1、基础简介 Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。 2、数据分析能力 OLAP场景特征 大多数是读请求 数据总是以相当大的批(> 1000 rows)进行写入 不修改已添加的数据 每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列
知了一笑
2019-10-09
3.2K
0
Linux系统：Centos7下搭建ClickHouse列式存储数据库
存储
数据库
sql
xml
一、ClickHouse简介 1、基础简介 Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。 下载仓库：https://repo.yandex.ru/clickhouse 中文文档：https://clickhouse.yandex/docs/zh/ 2、数据库特点 (1)列式数
知了一笑
2019-10-09
1.3K
0
Linux系统：centos7下搭建Nginx和FastDFS文件管理中间件
nginx
存储
打包
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了大容量存储和负载均衡的问题。
知了一笑
2019-07-19
697
0
Linux系统：centos7下搭建ZooKeeper3.4中间件，常用命令总结
zookeeper
分布式
存储
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。
知了一笑
2019-07-19
286
0
SpringBoot2.0 基础案例(15)：配置MongoDB数据库，实现增删改查逻辑
mongodb
云数据库 MongoDB
存储
nosql
数据库
NoSQL( Not Only SQL )，意即"不仅仅是SQL"。对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。
知了一笑
2019-07-19
526
0
SpringBoot2.0 整合 FastDFS 中间件，实现文件分布式管理
存储
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了大容量存储和负载均衡的问题。
知了一笑
2019-07-19
1.1K
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档