腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术架构

纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构

专栏作者

149

文章

318225

阅读量

95

订阅数

Scrapy源码解读

scrapy 爬虫编程算法 http python

Scrapy一个比较完整的爬虫框架，包含了爬取任务的调度、多个线程同时爬取（异步多线程，不用等一个请求完成后才开始另一个请求）、自动过滤重复的链接等功能。使用者通过定义比较简单的爬虫类（例如目标网址、爬取的具体页面元素、存储的格式字段、数据清理逻辑），剩余的就可以交给scrapy完成爬取工作。

大数据技术架构

2023-03-08

6760

基于networkx的隐性集团关系识别模型

python 数据处理

demo数据采用python中faker进行构造，主要生成关系数据、目标客户数据。

大数据技术架构

2022-12-01

5120

数据血缘分析-Python代码的智能解析

sql 编程算法打包 python

如果你的工作是从事数据挖掘、数据仓库建设或者信息系统开发/维护，有没有曾经遇到过如下的烦恼？

大数据技术架构

2022-12-01

1.6K0

Airflow 实践笔记-从入门到精通二

数据库 sql python linux

数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。

大数据技术架构

2022-06-14

2.4K0

Python happybase 操作 HBase 最佳实践

python hbase TDSQL MySQL 版 jvm

这几天玩了一下Python，不得不说Python真的很好用，但同时也遇到了很多坑。这里主要分享通过Python的happybase模块查询HBase的实践。因为HBase rowkey规则要依赖一个外包jar包，因此也涉及到通过jpype模块在Python中使用Java（这块也是不得已为之）。Python从小白到入门，描述不对的地方请多指出。

大数据技术架构

2019-11-12

2.3K0

Swift 势必取代 Python？

tensorflow python ide c++

当程序员听到Swift时，可能都会联想到iOS或MacOS的应用开发。如果你正在研究深度学习，那么你一定听说过Swift版的TensorFlow。你可能不禁想问：“为什么Google会创建Swift版的TensorFlow？现在已经有Python和C++版本了，为什么还要添加另一种语言？”

大数据技术架构

2019-08-19

9690

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态