最近想着把工作中常用到的技术点与工具做一些整理总结，一方面梳理一下这些知识点，加深使用记忆，也可以作为之后使用的查阅。
SQlAlchemy简单使用 sqlalchemy介绍 SQLAlchemy的是Python的SQL工具包和对象关系映射器，让应用程序开发人员可以使用上SQL的强大功能和灵活性。 它提供了一套完整的企业级持久化模式，专为高效率和高性能的数据库访问而设计，简单易用用，专门为Python语言而准备。 SQLAlchemy的理念 SQL数据库与对象集合目标不同，它需要关注更大的数据容量与更高的性能;而对象集合则和数据表或数据行的目标不同，它需要更好的数据抽象。 SQLAlchemy设计的目的，就是适配这两
在关系数据库中，术语 upsert 被称为合并(merge)。意思是，当执行 INSERT 操作时，如果数据表中不存在对应的记录，PostgreSQL 执行插入操作；如果数据表中存在对应的记录，则执行更新操作。这就是为什么将其称为 upsert（update or insert）的原因。
FreeSql 开源发布快一年了，立志成为 .Net 平台方便好用的 ORM，仓库地址：https://github.com/2881099/FreeSql
InnoDB: 支持事务,行锁及无锁读提高了并发的效率,为了数据的完整性,支持外键
在我们开始学习 PostgreSQL 数据库前，让我们先了解下 ORDBMS 的一些术语：
网上已经有很多拿PostgreSQL与MySQL比较的文章了，这篇文章只是对一些重要的信息进行下梳理。在开始分析前，先来看下这两张图：
在不知道如何运行某个数据库的情况下，请不要在该数据库上运行基准测试。本篇案例很好的解释了原因。
主要是通过prompt优化，能够让LLMs大模型自动生成对应SQL查询语句，涉及到难点： 1、不同类型数据库，对应sql方言有些不同；
对于select语句，我们可以通过join/outer join来关联多个表；但是对于update语句，是不能直接通过join/outer join来关联多表数据的，这里仅针对PostgreSQL。
包含三个文件, 具体介绍请看PostgreSQL目录结构之base目录，Free Space Map and Visibility Map:
ORM全称Object Relational Mapping, 翻译过来叫对象关系映射。在Python生态中，目前较为流行的ORM模块有SQLAlchemy和peewee，类比Java中有Hibernate和MyBatis。本文关注SQLAlchemy的快速上手，展示一个简单的 CRUD 示例，并结合使用 Faker 生成测试数据。
从csv文件中导入数据到Postgresql已有表中，如果数据已经存在则更新，如果不存在则新建记录。 根据csv文件格式，先在postgresql中建立临时表：
当多个会话同时访问数据库的同一数据时，理想状态是为所有会话提供高效的访问，同时还要维护严格的数据一致性。那数据一致性通过什么来维护呢，就是通过 MVCC（多版本并发控制） 。
SQL注入是最常见的攻击之一，并且可以说是最危险的。由于Python是世界上最受欢迎的编程语言之一，因此了解如何防止Python SQL注入至关重要。
这个问题不少小伙伴在面试时都遇到过，因为对MPP这个概念了解较少，不少人都卡壳了，但是我们常用的大数据计算引擎有很多都是MPP架构的，像我们熟悉的Impala、ClickHouse、Druid、Doris等都是MPP架构。
📷 官方手册：https://docs.citusdata.com 📷 脑图大纲 入门 什么是Citus？ Citus 可以扩展多远？ 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re
SQL Server 2008将包含用于合并两个行集(rowset)数据的新句法。根据一个源数据表对另一个数据表进行确定性的插入、更新和删除这样复杂的操作，运用新的MERGE语句，开发者用一条命令就可以完成。
完美无缺的系统是不存在的，或者认为某个系统很完美的你，不完美，今天就的开始talk一下Postgresql 的一个“不可回避的问题”， FREEZEN.
来源：https://segmentfault.com/p/1210000011760973/read
幂等性的一个要求是多次操作的结果一致。对于update操作，多次直接的结果都是最后update的值，是满足需求的。但对于insert，如果已经插入，第二次会报错，duplicate error， 主键重复或者unique key duplicate。所以需要做一下处理。
博客地址：https://ask.hellobi.com/blog/zhiji 欢迎大家来交流学习。
简单的说，数据库（因为Database）就是一个存放数据的仓库，这个仓库是按照一定的数据结构（数据结构是指数据的组织形式或数据之间的联系）来组织、存储的，我们可以通过数据库提供的多种方式来管理数据库里的数据。 更简单形象的理解，数据库和我们生活中存放杂物的储物间仓库性质一样，区别只是存放的东西不同，杂物间存放实体的物件，而数据库里存放的是数据。
开头先解释下全功能什么意思，所谓的全功能指的是支持绝大部分的SQL特性，像主键，触发器，约束，函数，存储过程，跨节点join等等。而且这些特性的支持对业务完全透明，业务可以像使用一台单机数据库一样来使用PGXZ。 PGXZ凝结了数平小伙伴们一年多的辛苦劳动，在 2015年10月份正式上线接入业务。当前主要的用户有微信支付，数据平台。最大的线上集群规模31个节点，每分钟55万请求。 本文先介绍下PGXZ的渊源，然后对PGXZ的特性进行下总结。 要讲PGXZ就不得不先说下PGXZ的祖父--Postgresql。
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
explain select a.first_name,a.last_name,a.last_update,fa.film_id from film_actor as fa right join actor as a on fa.actor_id = a.actor_id where fa.actor_id < 6;
小编说：PostgreSQL作为一个优秀的数据库产品，其本身有着非常多值得学习和研究的地方。《PostgreSQL查询引擎源码技术探析》则是一本难得的专门介绍和研究PostgreSQL查询引擎的专著。
事情的发生时这样的，在很久很久以前，SQL SERVER 有一个字段类型叫timestamp， 对比其他数据库都没有的 row version 自动化管理的东西。这个东西厉害的地方，虽然看上去可能是一个时间字段，但实际上不是，只要你对SQL SERVER 表的任意一行进行变动，那你放心那个字段的值一定会自动变化，这样你就可以通过这个字段，在程序里面先将这行的 timestamp值取出来，然后根据业务逻辑，如果需要过段时间你再去这一行变化或曾经变化过吗？之间与现在的timestamp字段值进行比对，那妥妥的能告诉你，这行的数据任意字段是否变化过，有人说MYSQL也有timestamp ，那个字段是通过时间来update 只要这个行变动过就触发timestamp 更改时间就可以了，当然datetime也行，早期版本不行。
PostgreSQL作为关系数据库中学院派的代表，在U.C. Berkeley完成了初始版本，其后U.C. Berkeley将其源码交于开源社区，PostgreSQL现由开源社区对其进行维护。PostgreSQL代码具有简洁、结构清晰、浓重的学院派气息等特性。虽然，其在国内并未像MySQL一样广泛在互联网公司内部使用，但是随着国内对PostgreSQL的认识加深，越来越多的公司逐渐采用PostgreSQL作为其解决方案中数据的基础架构部件；更有许多公司在PostgreSQL的基础上进行二次开发来满足自己的需求。
在上面的几篇文章当中都有实战项目进行配合，帮助各位看我的文章的小伙伴可以亲切的感受到爬虫的乐趣。在实战的过程当中很多时候也会将数据保存起来放在Excel文件或者是文本文件当中，但是却没有对数据的存储做详细的介绍，因此本次文章我就打算为大家带来数据存储的保姆级教程！
有些时候我们会遇到如下情况，我们需要依赖一张表的查询结果来更新另一张表，比如我们存在一张主表和一张关联表，我们需要把关联表的部分字段数据同步到主表的里面。
Greenplum数据库是一种大规模并行处理（MPP）数据库服务器，其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计。
列表是 Python 最常用的数据类型，它是有序元素的集合，元素之间以逗号分隔，用中括号括起来，可以是任何数据类型。同时它也是一种序列，支持索引、切片、加、乘和成员检查等。
数据库的事务包含原子性、一致性、隔离性、持久性四个特性。隔离性与一致性紧密相连，它们也容易让人迷惑。SQL标准定义了4个隔离级别，但由于定义使用的是自然语言，而非形式化语言，导致人们对隔离级别的理解有所差异，各个数据库系统的实现方式也有所不同。然而在分布式的场景下，又面临新的问题。 探索前沿研究，聚焦技术创新。本期由腾讯云数据库高级工程师孟庆钟为大家介绍数据库事务一致性的实现，内容包括事务的基本概念以及特性、主要的隔离级别及实现、TDSQL事务一致性的实现。 事务的基本概念及特性 1.1 事务的基本
众所周知文本数据的分析,一直是EXCEL的天下, 通过多种EXCEL的方法来进行数据的处理. 但如果涉及到几个文本文件的数据的聚合分析,合并分析,函数分析等等这样的情况. 所以怎么能让文本文件进行数据分析成为一个数据分析领域的卖点.
翻译 原文链接： https://content.pivotal.io/blog/apache-hawq-next-step-in-massively-parallel-processing MPP最开始的设计目的是为了消除共享资源的使用，即每个executor有独立的cpu、内存和磁盘等资源，每个executor一般不能访问其他executor的资源。但是有一种情况例外，那就是当数据必须要通过网络进行交换的时候(译者注：即shuffle)。这种设计理念效果很好，使MPP具有了比较凑合的扩展性。 MPP的
POSTGRESQL SQL 查询中经常用到的一些查询使用的查询符号，如 in , exists ,any ，这些查询符号在使用中有什么性能方面的差距，以及在什么场景下适合使用，这应该是一个有意思的话题。
9月9日，PostgreSQL全球开发组宣布了9.3版发布的消息。从2010年9.0版开始，PostgreSQL已经连续四个版本稳定地按时在每年9月中旬发布，从一个侧面也显示了开发团队的强大实力。 9.3版的新增点通过官方的特性矩阵能够最直观地看到。官方Wiki中的What‘s New和正式文档中的版本说明有更详细的说明。 比较显著的新增特性包括： 外部数据集成 外部数据封装器现在可写了，大大有助于系统间的双向数据交换。这在目前多种数据库和存储技术共存的复杂IT系统中非常重要。 新增了一个高性能、读/写P
一:什么是触发器 触发器是一种响应特定事件的特殊类型的存储过程 insert update... drop alter...等事件都有相应的触发器 二:简单的触发器 下面一个例子是在插入或者修改记录的时候的一个触发器 其中inserted表是一个临时表 存储的是将要插入的信息 这个触发器的目的是检查将要插入的信息是否符合规定 (在product表里没有特殊的记录) 这个例子是check约束所不能解决的了的
PostgreSQL 16 中改进了vaccum freezing的性能提升，具体在哪里有相关性能的提升，这里进行一个详述。
数据库用户通常依赖隔离级别来确保数据一致性，但很多数据库却并未达到其所表明的级别。主要原因是：一方面，数据库开发者对各个级别的理解有细微差异；另一方面，实现层面没有达到理论上的要求。 用户在使用或开发者在交付数据库前，需要对隔离级别进行快速的正确性验证，并且希望验证是可靠的（没有误差）、快速的（多项式时间）、有效的（找出异常）、通用的（任意数据库）、可解释的（可以debug，可以复现）。 Elle 就是针对以上问题提出的一个基于 Adya 模型的黑盒一致性检测工具。Elle 通过精心设计的读写操作和版本控制
PostgreSQL作为传统关系型数据，在设计架构上和Oracle非常相似，下图可以带给你直观的了解。
一、特点 学习一个东西，至少首先得知道它能做什么？适合做什么？有什么优缺点吧？ 传统关系型数据库，遵循三大范式。即原子性、唯一性、每列与主键直接关联性。但是后来人们慢慢发现，不要把这些数据分散到多个表、节点或实体中，将这些信息收集到一个非规范化（也就是文档）的结构中会更有意义。尽管两个或两个以上的文档有可能会彼此产生关联，但是通常来讲，文档是独立的实体。能够按照这种方式优化并处理文档的数据库，我们称之为文档数据库。 设计MongoDB的初衷就是用作分布式数据库。 MongoDB
任何数据库都有死锁，MYSQL的死锁有相关的工具，或者去日志查找，postgresql的死锁又怎么搞，今天的来说说。
ClickHouse中完整select的查询语法如下（除了SELECT关键字和expr_list以外，蓝色的字句都是可选的）：
给开发的同学们进行不定期的安全培训是安全建设中不可缺少的一环，也是非常重要的一环。以我的经验来看，安全培训或者说安全科普不能教条化，不能书面化，必须得动手实践，结合实例分析演示给他们看，这样才能他们信(xing)服（fu），也才能达到预期的效果。本人曾粗浅的分析过Yii框架中常见SQL操作方法源码实现，以此向开发同学们阐述哪些SQL方法是安全的，哪些是不安全，使其在开发中编写更安全的代码，也曾取得不错的效果。近期有空，总结一下当时培训的内容，于是有了本文。
任何一个数据库最主要功能之一是可扩展。如果不删除彼此，则尽可能较少锁竞争从而达到这个目的。由于read、write、update、delete是数据库中最主要且频繁进行的操作，所以并发执行这些操作时不被阻塞则显得非常重要。为了达到这种目的，大部分数据库使用多版本并发控制（Multi-Version Concurrency Control）这种并发模型。这种模型能够将竞争减少到最低限度。
1，没有数据库，使用磁盘文件存储数据； 2， 层次结构模型数据库； 3，网状结构模型数据库； 4，关系结构模型数据库：使用二维表格来存储数据; 5，关系-对象模型数据库； MySQL就是关系型数据库！
领取专属 10元无门槛券
手把手带您无忧上云
