Tyrant Lucifer-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Tyrant Lucifer

专栏成员

35

文章

49021

阅读量

18

订阅数

DBLog：一种基于水印的变更数据捕获框架（论文翻译）

翻译框架论文日志数据

应用程序通常会使用多个异构数据库，每个数据库都用于服务于特定的需求，例如存储数据的规范形式或提供高级搜索功能。因此，对于应用程序而言，将多个数据库保持同步是非常重要的。我们发现了一系列尝试解决此问题的不同方式，例如双写和分布式事务。然而，这些方法在可行性、稳健性和维护性方面存在局限性。最近出现的一种替代方法是利用变更数据捕获（CDC）框架，从数据库的事务日志中捕获变更的行，并以低延迟将它们传递到下游系统。为了解决数据同步的问题，还需要复制数据库的完整状态，而事务日志通常不包含完整的变更历史记录。同时，某些应用场景要求事务日志事件的高可用性，以使数据库尽可能地保持同步。

2023-10-03

4160

如何做一名Apache Release Manager

apache svn maven 打包

近期，Apache SeaTunnel经过几个月的迭代和架构升级，终于迎来的v2的第一个正式版本2.3.0，我也有幸作为本次的Release Manager，体验了一把从0到1的Apache发版流程，不得不说Apache基金会在项目的版本管理这块有着完善的规范和严谨的流程，整个发版过程周期很长，其中也踩了不少的坑，俗话说好记性不如烂笔头，所以笔者写了一篇文章来记录整个过程（以Apache SeaTunnel为例），希望这篇文章能够让小白快速入门Apache项目版本管理和发布。

2023-03-09

6090

我与Apache SeaTunnel的不二情缘

apache 数据集成开源 api scala

我是tyrantlucifer，目前是Apache SeaTunnel社区的PPMC & Committer，在一家不知名公司任职大数据开发工程师，工作方向主要聚焦于数据集成领域的探索和实践，平时也会用诸如Spark、Flink这样的分布式计算引擎做一些业务数据处理的工作，我是一名纯粹的开源爱好者，喜好用爱发电，热爱写代码，今天很高兴能够再次受到社区邀请，在这里讲述我与Apache SeaTunnel的故事。

2023-03-09

4680

SeaTunnel 连接器V1到V2的架构演进与探究

大数据 flink spark apache 数据集成

整个SeaTunnel设计的核心是利用设计模式中的控制翻转或者叫依赖注入，主要概括为以下两点：

2022-11-29

8270

笔记工作流的最佳实践

markdown linux https 网络安全

作为一名技术工作者，持续的学习和记录是延续职业生涯的必备技能，有效的记录在网络浏览过程中获取到的知识点和定期的自我总结是提升自我的最佳途径，从接触计算机学习以来，我的笔记工作流随着知识面的扩张不断更改，到现在趋于稳定且效率还不错，所以想借此机会分享给大家，希望我走过的弯路能够减少大家的学习成本。

2022-11-29

4240

DataX源码解析-数据传输

buffer channel image queue record

书接上回，继续来聊一聊DataX源码，在上篇文章中我们已经对于DataX的调度流程进行了细致的剖析，这篇文章我们将更深层次的研究DataX在数据传输与交换方面的细节。

2022-08-30

1.2K1

Apache Seatunnel - 架构解析

spark flink apache windows api

Seatunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上，开源项目地址：https://github.com/apache/incubator-seatunnel

2022-08-30

5.2K0

DataX源码解析-调度流程

编程算法 javascript

书接上回，继续来聊一聊DataX源码，在上篇文章中我们已经对DataX的整体架构以及运行流程有了一个比较细致的了解，这篇文章我们将更深层次的研究DataX在调度方面的细节。

2022-08-30

1.1K0

DataX源码解析-整体架构

任务调度开源容器

近期在工作中需要用到DataX去作为公司内部的数据同步引擎，特花了一些时间研究了DataX的整体架构和设计思想，从中吸收了很多优秀的设计思路，作为一款纯Java实现的数据同步工具，相对于市面上已存在的基于大数据框架为背景的数据同步工具有着易部署、易扩展的优点，但不足的地方是alibaba只是开源了DataX单机模式代码，并未开源分布式部分代码，目前在Github中的只是阉割版是DataX，对此我表示很遗憾。

2022-08-30

2.3K0

Apache Calcite 文档翻译 - 关系代数

编程算法 sql

关系代数是Calcite的核心。每个查询都被表示为一棵关系运算符的树。你可以将一条SQL语句翻译为关系代数，也可以直接建立树状结构。

2022-04-19

1.3K0

老司机教你用树莓派玩转Jupyter Web开发环境

开源 jupyter notebook 网站

执行完上面的命令之后，命令行一直在输出，等到结束之后，就代表安装完毕，然后切换回pi用户，用普通用户执行下面的步骤

2022-03-23

1K0

SAS学习--导入导出文件、拼表、数据集筛选

前言目前项目进行到中期，最近又学习了一些新的知识，例如sas拼表、导出文件、数据集筛选等，好记性不如烂笔头，记录下来有待后期回头查看，人生总是走在学习的道路上。 SAS 导出文件 SAS将数据集导出为文件有两种方法，一种使用PROC EXPORT，另外一种是使用DATA步 proc export PROC EXPORT DATA=DATA_SET OUTFILE="/sas/data_set.txt" DBMS=TAB REPLACE; DELIMITER="|"; PUTNAMES=NO; RUN; /

2022-03-23

3K0

我爬取了全国肺炎感染情况的数据，情况不容乐观

python 数据库 sql json

2020是一个不太平的年头，篮球标杆的意外去世，新型冠状病毒的肆虐横行，给本来喜庆的新年蒙上了厚厚的阴霾，为此，国家呼吁减少出行，安心呆在家里为国家做贡献，之前想象中的躺在床上有吃的有WiFi的生活彻底实现了，但是躺的时间太久了，难免有些厌倦，朋友圈里的有些朋友丧心病狂的去晒自己吃小橘子的步骤，简直惨不忍睹，为了打发时间，想了想要不爬一下最近全国肺炎感染信息，小小分析一下，画几个图出来看看感染情况究竟如何。

2022-03-23

2290

GitHub+jsDelivr+PicGo搭建自己个人免费图床

markdown 云服务器 https 网络安全

俗话说，好记性不如烂笔头，要想成为一名好的程序员，时刻记录自己遇到的问题和解决方案才能让自己不断成长，所以为了成为一名优秀的程序员，我习惯用Markdown这种语法来记录自己的所见所得。下面就简单介绍一下Markdown。

2022-03-23

1.1K0

我用数据告诉你，为什么国家敢复工

前几日，于一月底在家闲的实在无聊，便找了点事情做，写了个小脚本每小时收集实时疫情信息，并保存到数据库中，到我写这篇文章为止，我已经收集到了241396条数据，精确到了地级市的确诊人数、治愈人数、死亡人数，大多数小伙伴们都于下周一返回工作岗位进行复工，下面我将用数据告诉你，为什么国家在下周一敢让你复工。

2022-03-23

5360

如何让树莓派成为你有效的扶墙好帮手

python github git 开源 https

树莓派相信熟悉小型Linux开发板的朋友都不陌生，作为一款优秀的卡片型小电脑，麻雀虽小五脏俱全，普通电脑能做的事情，它全都能做，最重要的一个优点，它作为一台24小时不停服的服务器来讲，低功耗，高收益，所以民间高手用树莓派来diy各种千奇百怪好玩好用的东西，例如用树莓派做家庭nas存放自己的小姐姐，用树莓派做为软路由管理家庭的网络，用树莓派做自己的贴心语音小助手来管理家庭智能家电等等一系列的应用场景，可玩性很高，作为一个很爱折腾的我也是对它爱不释手，很多人买来树莓派就是放在角落吃灰，但我的树莓派至今已经平稳运行了2年之久，它承担了我的毕业设计---智能语音机器人，承担了家中的nas共享，承担了平时在家的jupyter开发环境，在今天，我将赋予它新的使命---扶墙(FQ)好帮手，让我们家庭网络的终端中，无需连接威批恩便可以顺畅睁眼看世界！接下来请跟随文章的脚步，一起走进奇妙的折腾之旅~~~

2022-03-23

2.3K0

如何搭建自己的git服务器

git 是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理，是Linux之父的另外一个得意之作，也是程序员团队协作一个不可缺少的工具，平时个人开发者都使用github来进行git的使用，如果团队开发又想将代码保存在自己服务器怎么办？今天就来记录一下如何在自己的服务器上搭建git。

2022-03-23

3K0

如何搭建hexo博客到Linux云服务器

hexo markdown 云服务器 nginx 开源

我是一个个人博客爱好者，平时有着记录自己折腾各种好玩东西过程的习惯，所以在大学期间我就搭建了一个自己的博客，刚开始入门用的是wordpress，用的是盗版的知更鸟主题，但随着时间推移，大概运行了一年时间，博客系统越来越臃肿，插件千奇百怪，学习成本较高，更为致命的是，需要大量的优化才能保证正常的加载速度（其实还是我太菜，不会优化，手动狗头），而且不能很好地支持markdown，违背了我写作的初衷，我在市面上开始寻找另外一款能够很好支持markdown语法的博客系统，此时typecho进入到了我的视线，相比于wordpress来讲，它更轻量化，而且很好的支持markdown语法，就这样，我再次转投到了typecho旗下，进行了大规模的迁移，再次运行了一年之久，然而新的问题随之而来，国外垃圾评论频出，加载速度太慢，markdown语法解析部分出问题（还是我太菜，不会前端自己开发解析），时至今日，我再次把目光投向了静态博客生成器，所谓博客生成器就是将markdown文件渲染成html静态文件，没有数据库的加持，全部博客页面纯静态，提升加载速度，抛弃臃肿插件，回归写作的本质，现在市面上比较出名的是hexo和hugo，两者相比，hexo更加成熟，玩的人更多，学习成本较低，所以我选择了hexo作为我的第三套博客系统。

2022-03-23

1.3K0

如何在Linux主机上搭建code-server

深夜更新，没想到吧。最近发生了很多的事情，很多很多，多到无法想象，2020年的前半年对我一点都不太友好，希望下半年能够时来运转，让我摆脱这种困境。

2022-03-23

2.5K0

如何使用kms工具激活vol版本的Windows和Office

windows server 命令行工具密钥管理服务 https windows

相信在座的各位白嫖党都想用到正版的Windows系统和正版的Office套装，市面上大多数的方案是从淘宝花几块钱买个数字激活码激活和用盗版的激活工具，有什么方法才能让我们用到名正言顺的正版呢？还真有，那就是kms激活。

2022-03-23

4K0

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态