腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
鸿的学习笔记
专栏成员
举报
330
文章
293030
阅读量
49
订阅数
订阅专栏
申请加入专栏
全部文章(330)
其他(123)
数据库(53)
python(45)
sql(44)
大数据(34)
https(32)
网络安全(28)
存储(26)
分布式(20)
编程算法(19)
scala(17)
apache(16)
机器学习(15)
神经网络(14)
hadoop(14)
mapreduce(13)
人工智能(13)
spark(13)
html(12)
深度学习(11)
开源(11)
api(9)
缓存(8)
数据分析(8)
nosql(7)
数据处理(7)
kafka(7)
oracle(6)
网站(6)
windows(6)
java(5)
云数据库 SQL Server(5)
TDSQL MySQL 版(5)
http(5)
hive(5)
数据结构(5)
云计算(5)
数据湖(5)
数据挖掘(4)
json(4)
git(4)
github(4)
linux(4)
unix(4)
文件存储(4)
erp(4)
hbase(4)
node.js(3)
容器(3)
推荐系统(3)
ntp(3)
processing(3)
javascript(2)
xml(2)
postgresql(2)
bash 指令(2)
shell(2)
zookeeper(2)
rpc(2)
微信(2)
安全(2)
腾讯云数据仓库 TCHouse(2)
官方文档(1)
NLP 服务(1)
c 语言(1)
c++(1)
bash(1)
android(1)
硬件开发(1)
sqlite(1)
云数据库 Redis(1)
memcached(1)
mvc(1)
ide(1)
搜索引擎(1)
全文检索(1)
lucene/solr(1)
容器镜像服务(1)
云数据库 MongoDB(1)
网络流日志(1)
数据加密服务(1)
腾讯云测试服务(1)
数据安全(1)
yarn(1)
kubernetes(1)
压力测试(1)
爬虫(1)
jvm(1)
卷积神经网络(1)
gui(1)
jdbc(1)
ftp(1)
udp(1)
gcc(1)
数据可视化(1)
架构设计(1)
腾讯云开发者社区(1)
jupyter notebook(1)
actor(1)
io(1)
supervisor(1)
worker(1)
备份(1)
科技(1)
搜索文章
搜索
搜索
关闭
Airflow 和 DataX 的结合
hive
https
网络安全
oracle
json
我们团队用的调度系统是 Apache Airflow(https://github.com/apache/airflow),数据传输工具是 DataX(https://github.com/alibaba/DataX),这两个工具的介绍读者可以自行查看对应的链接,不多叙述。
哒呵呵
2021-09-08
2.5K
0
关于 HTAP 数据库应用场景的一些想法
kafka
数据库
sql
oracle
昨天发了一篇文章讨论的是关系型数据库的变化数据如何同步到数据仓库层面,类似于 MySQL 的 binlog 日志同步到数据仓库进行 OLAP 分析。OLTP环境下的数据库数据同步到OLAP环境下的数据仓库,解决方案逃不过三种类型:
哒呵呵
2021-06-17
835
0
推荐一个学习和了解数据库知识的网站
云数据库 Redis
oracle
网站
数据库
java
最近发现一个有趣的网站,是专门收集世界上所有的数据库信息的网站,类似于维基百科性质的,名字也很有趣叫做Database of Databases,翻译成中文也就是“数据库的数据库”。上网搜了下相关信息,注意到这个网站是由卡内基梅隆大学开发的,目前包含了 721 个数据库信息,数量还在不断增加中。由于收集了互联网上的相关信息,因此这个网站也特地做了一个排行榜,从这个排行榜可以发现一些很有趣的信息,比如:
哒呵呵
2020-09-24
1.5K
2
Oracle 数据库编程语言 PL/SQL 的历史
oracle
ide
sql
数据库
https
在世界编程语言排行榜里,PL/SQL 一直稳稳占据着前二十的位置。尽管我不是 Matthew Symonds,也与 Softwar 这本书无关,但我依然花费了大量的精力在研究 PL/SQL 的历史上。“Oracle 7 架构非常领先,并像 Sybase 数据库一样,Oracle 7 可以使用全新而优雅的 PL/SQL 编程语言进行编程” ,这也是我为什么会写下关于 PL/SQL 历史的文章的原因。
哒呵呵
2020-07-22
1.6K
0
Stream和Table的联系
http
存储
oracle
传统的Table领域和目前的Stream领域看似横亘着不可跨越的鸿沟,类似于经典力学和量子力学,但Stream和Table的依然存在着相关性。在研究这个理论之前,先回顾下什么是Table?一张Table是一堆拥有行列性质的数据,每一行都有着唯一的主键(无论是隐性还是显性的,具体可以参考我之前写的文章:https://mp.weixin.qq.com/s/aHjt2ssmUWJEfFdf8necMQ),但是在某种程度上,一张表的存储结构是一个只增不减的log(LSM树或者是B树),事务就是对这个log上的某条记录快照的更改及最终应用在log上。
哒呵呵
2018-10-18
674
0
关于数据库的一些学习笔记
数据库
mvc
oracle
一、锁、并发 一个很有趣的事实:容易理解的模型性能都不好,性能好的模型都不容易理解。(性能好,这就意味着锁的颗粒度很少,这样就需要更多的细节) 事务单元: 一个简单的例子: bob给smith100元 顺序是: 锁定bob账户,锁定smith账户,查看bob账户是否有100元,bob账户减100元,smith账户增加100元,分别解锁。 这个时候很重要的是事务的一致性,客户端的查看,都要是一致的,四个原则ACID。 事务之间的抽象: 读写,写读,读读,写写 方式: 序列化读写: 优势:不需要冲突控制 劣势:慢速设备 排他锁事务单元之间没有冲突,就应该并行,只有两个事务单元共享数据时,只能排队。 读写锁: 写和读分开,读之间是并行 排队法: 针对同一个单元的访问控制 MVCC: 写时复制的方式,对写进行优化,能够做到写不阻塞读 二、事务的常见问题 读写之间的先后顺序: 逻辑时间戳 SCN(oracle) Trx_id(Innodb) 还有物理时间戳,实际上就是时钟的概念 故障恢复: 业务属性不匹配:记录下所有操作的反操作。 系统崩溃:checkpoint 死锁产生的原因: 两个线程,同时获得了不同的锁,但是这两个锁具有逻辑关系。方案:降低隔离性,碰撞检测(会把所有的锁记录下来,两个集合的并集,中止其中一边),等锁超时(解锁) 不同方向 相同资源 三、单机事务 ACID。 原子性:一个事务要么同时成功,要么同时失败。要回滚到事务的初始状态,不存在中间态。只记录了undo日志回滚。 一致性:can(happen before)保证能够看到系统内的所有更改 隔离性:以性能为理由,对一致性的破坏。快照读的情况下能保证在读到一致性的同时实现读未提交。 持久性:事务完成后,该事务对数据库所作的更改便持久的保存在数据库之中。持久性和延迟二选一。 四、分布式事务 目标: 提供与单机事务一样的操作 可按需无限扩展 问题:基于锁的事务遇到的问题 --2PL到2PC --异常处理 --日志记录 --延迟问题 MVCC碰到的问题 --顺序 数据共享,时序,延迟,超时是否成功,光速不是无限的
哒呵呵
2018-08-06
368
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档