腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
鸿的学习笔记
专栏成员
举报
330
文章
292874
阅读量
49
订阅数
订阅专栏
申请加入专栏
全部文章(330)
其他(123)
数据库(53)
python(45)
sql(44)
大数据(34)
https(32)
网络安全(28)
存储(26)
分布式(20)
编程算法(19)
scala(17)
apache(16)
机器学习(15)
神经网络(14)
hadoop(14)
mapreduce(13)
人工智能(13)
spark(13)
html(12)
深度学习(11)
开源(11)
api(9)
缓存(8)
数据分析(8)
nosql(7)
数据处理(7)
kafka(7)
oracle(6)
网站(6)
windows(6)
java(5)
云数据库 SQL Server(5)
TDSQL MySQL 版(5)
http(5)
hive(5)
数据结构(5)
云计算(5)
数据湖(5)
数据挖掘(4)
json(4)
git(4)
github(4)
linux(4)
unix(4)
文件存储(4)
erp(4)
hbase(4)
node.js(3)
容器(3)
推荐系统(3)
ntp(3)
processing(3)
javascript(2)
xml(2)
postgresql(2)
bash 指令(2)
shell(2)
zookeeper(2)
rpc(2)
微信(2)
安全(2)
腾讯云数据仓库 TCHouse(2)
官方文档(1)
NLP 服务(1)
c 语言(1)
c++(1)
bash(1)
android(1)
硬件开发(1)
sqlite(1)
云数据库 Redis(1)
memcached(1)
mvc(1)
ide(1)
搜索引擎(1)
全文检索(1)
lucene/solr(1)
容器镜像服务(1)
云数据库 MongoDB(1)
网络流日志(1)
数据加密服务(1)
腾讯云测试服务(1)
数据安全(1)
yarn(1)
kubernetes(1)
压力测试(1)
爬虫(1)
jvm(1)
卷积神经网络(1)
gui(1)
jdbc(1)
ftp(1)
udp(1)
gcc(1)
数据可视化(1)
架构设计(1)
腾讯云开发者社区(1)
jupyter notebook(1)
actor(1)
io(1)
supervisor(1)
worker(1)
备份(1)
科技(1)
搜索文章
搜索
搜索
关闭
2022 年值得关注的 7 大人工智能趋势
神经网络
深度学习
人工智能
网络安全
正如谷歌的CEO Sundar Pichai所言:AI will transform how we lead our lives and revamp many industries, including healthcare, education, and manufacturing.
哒呵呵
2022-03-11
501
0
简评 WhereHows 为什么失败
https
网络安全
api
html
DataHub 是由领英的数据团队开源的一款提供元数据搜索与发现的工具。现在的 DataHub 是由 WhereHows 演变过来的。
哒呵呵
2021-12-18
847
0
从时间这个概念说起
分布式
https
网络安全
我们每个人都知道时间,也都在使用时间。同事之间要聚会了,会互相通知今晚七点不见不散,过了两小时,吃饱喝足了,聚会也就散了。“今晚七点”和“过了两小时”代表着日常使用时间的两个方面,时刻和持续时间。
哒呵呵
2021-11-30
272
0
Airflow 和 DataX 的结合
hive
https
网络安全
oracle
json
我们团队用的调度系统是 Apache Airflow(https://github.com/apache/airflow),数据传输工具是 DataX(https://github.com/alibaba/DataX),这两个工具的介绍读者可以自行查看对应的链接,不多叙述。
哒呵呵
2021-09-08
2.5K
0
闲聊Airflow 2.0
https
网络安全
文件存储
api
kubernetes
在 2020 年 12 月 17 日 Apache Airflow 团队发布了 Apache Airflow 2.0.0。当时就想写写 Airflow 的新特性,但是粗略的看了下《Apache Airflow 2.0 is here!》这篇文章,发现 Airflow2.0 是一个超级大的版本更新,不仅仅 UI 更新了,最核心的组件 Scheduler 性能也有了极大的提升,分布式环境下的高可用模型也做了改变,同时还有 Airflow 上的 Operator 和 Hook 也做了新的分门别类,对于这个版本在复杂的生产环境下是否能稳定运行,感到一丝怀疑,遂后面没有在关注了。
哒呵呵
2021-08-12
2.7K
0
MLOps 的学习清单
https
网络安全
机器学习
神经网络
深度学习
先缅怀下袁隆平老先生。在我们这代人眼里,袁隆平老先生可能就是一个活着的传奇,所以在22号突然听到他离世的消息时,莫名的伤感,又一位人民英雄离我们远去了。
哒呵呵
2021-06-17
1.9K
0
Superset 1.0 终于发布了
https
网络安全
github
git
开源
Superset 起源于 Airbnb 在2015年发起的一次黑客马拉松比赛,起初,Superset 被命名为 Caravel 和 Panoramix,2017 年 5 月进入 Apache 孵化器。经过快四年的发展,在 2021 年 1 月,Superset 正式进入到 1 开头的版本,也就是从0.xx变成了1.xx,并且也成功晋升为 Apache 顶级项目(https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces70)。目前 Apache Superset 项目的主要负责团队来源于 Preset 公司。
哒呵呵
2021-05-13
1.4K
1
吴恩达谈 MLOps:调优数据比调优模型更重要
https
网络安全
机器学习
神经网络
深度学习
3月25日,吴恩达开了一个直播讲 A Chat with Andrew on MLOps: From Model-centric to Data-centric AI ,看完后深受启发,便随手写下一些笔记。
哒呵呵
2021-04-23
1.1K
0
推荐一个分布式系统的学习课程
rpc
https
网络安全
分布式
介绍下Martin Kleppmann博士在剑桥上开的课程Distributed Systems。这个课程可以认为是Martin Kleppmann对《数据密集型应用系统设计》这本书的一个补充。感兴趣的可以关注:
哒呵呵
2021-03-16
1.1K
0
什么是 Data Mesh ?
数据湖
编程算法
https
网络安全
大数据
Data Mesh 的概念起源于 ThoughtWorks 的首席技术顾问 Zhamak Dehghani 发表在 martinfowler 官网上的两篇文章How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh和Data Mesh Principles and Logical Architecture。
哒呵呵
2021-03-16
3K
0
Kafka 能成为一个数据库吗?
网络安全
https
kafka
存储
数据库
近些年,圈子里有一个讨论很有趣,是关于 Kafka 到底可不可以认为是一个数据库,这个讨论起始于2017年,并由此衍生出了 KSQL、KarelDB 等基于 Kafka 完成的数据库。这篇文章简单回顾下争论双方的观点。
哒呵呵
2021-03-16
1.4K
0
2020年那些关于元数据的文章
https
网络安全
机器学习
神经网络
深度学习
2020 年是元数据管理兴起的一年。在 Datakin 你可以看到元数据管理的发展历史。在前人努力的基础上,Datakin 和其它的开源数据血缘以及架构软件,比如 Airflow,Amundsen,Datahub,dbt,Egeria,Great Expectations,Iceberg,Marquez,Pandas,Parquet,Prefect,Spark 和 Superset 宣布开放血缘(Open Lineage)倡议。
哒呵呵
2020-12-29
1.5K
0
2020 年 DB Weekly 上最佳的六篇文章
https
网络安全
云数据库 SQL Server
数据库
sql
DB Weekly 是我每周都要看的一个关于数据库方向的内容推送。这个公众号的一些文章其实就是来源于 DB Weekly。上周是 2020 年 DB Weekly 最后一篇推送,评选了今年最佳的六篇文章,我花了一周时间读了一遍,发现这个评选没啥问题。遂简单翻译如下:
哒呵呵
2020-12-29
513
0
大公司是如何发展元数据的?
https
网络安全
大数据
html
apache
对于数据工程师而言,元数据知识可能是最需要掌握的,却常常又被忽略的一部分。毕竟在平时做需求时,大家都是用 SQL 完成任务,而和领导汇报时,又常常凸显出数据产生的效益,元数据基本上就被忽视了。如果团队里没有人想去整理元数据的话,随着公司的发展,数据源和数据量的不断增多,就会逐渐发现我怎么找不到数据了?这个数据口径到底是怎么回事,哪一个才是对的?等等问题。
哒呵呵
2020-12-29
1.9K
0
Procella 数据库的简单介绍
https
大数据
网络安全
数据库
sql
最近看到了一个很有趣的数据库 Procella ,它的架构图就和当初亚马逊公司发布的数据库论文 Aurora 里面的一样,一眼就吸引住我了。
哒呵呵
2020-11-19
919
0
数据湖及其架构的一份笔记
https
网络安全
数据湖
数据库
sql
数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。
哒呵呵
2020-09-01
1.9K
0
谷歌的 Spanner 数据库是如何一步步支持 SQL 语法的
api
TDSQL MySQL 版
https
网络安全
sql
Spanner 之前是一个键值数据库,与现在谈论的 Spanner 是完全不同的东西。在设计之初,Spanner 就支持事务、外部一致性和透明的故障转移。到后面,Spanner 开始支持带类型的数据库表结构和其它的一些关系型数据库功能,以及支持了 SQL 功能。而现在我们正在努力改进 SQL 语法的兼容性和关系型数据库功能。
哒呵呵
2020-08-05
1.2K
0
深入分析Python的内存机制
python
数据结构
https
网络安全
当一个程序需要处理成千上万的object时,为object选择合适的数据结构减少内存的占用量就成了一个很重要的问题。 毕竟一台服务器的内存终究还是有限的。本文就是要简述在不同的数据结构下,一个单独的object的占用多大的空间,从而得出减少程序内存占用量的方案。
哒呵呵
2019-07-17
1.1K
0
数据平台的那些事(2)
bash 指令
bash
https
网络安全
数据库
任务调度系统在数据平台中算是非常核心的组件了。在日常的数据处理中,定时运行一些业务是很常见的事,比如定时从数据库将新增数据导入到数据平台,将数据平台处理后的数据导出到数据库或者是文件系统。
哒呵呵
2019-07-08
653
0
换个视角看SQL Join
sql
大数据
https
网络安全
html
本文主要讨论Streaming Join。在Stream & Table Theory的基础上,我们给Classic SQL引入了时间维度,并提出了Time-Vary Relation,并认为“Streaming SQL可以全盘继承Classic SQL的所有Operator,并且得到的结果也是一样的”,SQL里最复杂的Join也不例外。
哒呵呵
2019-05-28
755
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档