进击的Coder-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

进击的Coder

专栏成员

559

文章

1323571

阅读量

200

订阅数

找到一个 Python 爬数据神器

爬虫 python 编程算法大数据

在这个万物互联的大数据时代，互联网几乎将世界上所有的人和事物都紧密连接了起来，我们在这个网络世界中的生活与行为，无时无刻不在产生着大量的行为数据。这些数据对区块链、物联网、人工智能、大数据和虚拟现实技术来说有着极大的价值。所以，在很大程度上来说，掌握了数据，就掌握了未来。而爬虫作为最好的数据采集技术，自然会受到广泛关注，业界对爬虫技术服务的需求量极高，当下早已供不应求。不平衡的供需关系使爬虫服务的价格越来越高，几乎所有的 Python 圈内人，都在利用爬虫技术接私活。近期爬虫私活接单记录虽说需求大

2022-07-26

4850

2022 新风口！IT 人群考证潮来啦！！！

https 云计算大数据创业扶持

随着云计算、人工智能、大数据等技术专业的火爆，职场上对于专业人才的需求与日俱增，甚至开出年薪百万的薪水。尤其是当前依旧火热的 IT 行业，仍然是高薪工作榜上的一朵明珠。但是IT从业者具有较强的专业性，这也使得像开发工程师、架构师等方向的从业人员要求比较高，不仅需要扎实的专业基础，还需要一定的项目实践经验。这使得一些普通学校毕业的大学生，很难进入大厂等优秀的企业。技术更新迭代，内卷严重的当下，你不提升自己的竞争力就会被淘汰，企业不需要代码的搬运工，需要具有深入分析问题和精准解决问题能力的人。如何加码自己

2022-04-21

7640

今年跳槽可以再等等

金三银四很快就到了，铁子们做好跳槽拿高薪的准备了吗？前两天我在脉脉上，看到一条有趣的提问：我想说难，很难！除非你厉害到公司愿意花钱挖你，否则就算你是 IT 大佬，学历不过关，机器也会直接把你过滤掉。随着越来越多人涌入 IT 行业，程序员之间的内卷也愈发严重，除了技术卷，学历上更是卷得“要命”！尤其在大厂的抢人大战中，他们往往只会高薪聘请少量学历高、技术硬的顶级人才，而把绝大多数基础岗位低价外包出去。所以，底层程序员想要纯靠技术换取一个高薪未来的时代已经一去不返，早日提升学历才是关键！随便翻

2022-03-21

5560

阿里疯传！Python + Tableau + Excel 数分教程（附内部资源）

大数据 python 数据分析 tcp/ip

春节回家，看到朋友晒的年终奖，我羡慕不已。他入职腾讯一年半，拿了 3 个月工资作为年终奖。据他所说，这还不算什么，网易《哈利波特·魔法觉醒》项目组，所有员工奖励 888888 元…… 虽然说并不是每个大厂员工都可拿到百万年终奖，但平均下来也有 3-6 个月的奖金（真香）。相信很大一部分人想要趁着金三银四跳槽去大厂，那么数据分析、产品、运营人想进大厂，应该做哪些准备呢？为此，我特意研究了各大招聘网站将近百份招聘需求，发现几乎所有的中、高阶产品、运营和市场岗位，都对数据分析能力非常重视。由此可见，数据

2022-03-08

7130

一个 yyds 方向，薪资大幅度碾压 Java 开发！

数据湖分析数据湖大数据数据库 sql

数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。不管是传统数仓承载的结构化数据还是半结构化数据、非结构化数据、二进制数据等任意类型的数据，数据湖都可以轻松实现采集、存储和分析。更为人性化的是，数据湖可根据企业的业务需求提供可大可小的弹性扩充，数据可在治理规则下自由流动，采用统一的存储引擎，支持多模式计算引擎，可以运行从控制面板和可视化到大数据处理、实时分

2022-03-08

5310

终于有人把 Kafka3.0 的新特性讲全乎了！

kafka 大数据架构设计

Kafka 是消息队列中间件的代表产品，它与 RocketMQ 和 RabbitMQ 最大的区别在于：在某些场景，可以弃用 Flink、Spark 这样的计算引擎，借助 Kafka Stream 轻松实现数据处理。也即，Kafka 不仅是消息引擎系统，也是分布式流处理平台。最新版本 3.0 的发布，使得 Kafka 这一定位得到了进一步加强。突出的一点体现在对 KRaft 元数据和 API 进行了诸多突破性的改进： “KRaft Controllers 和KRaft Brokers，能够为元数据主题 __

2022-03-04

1.1K0

重磅！微软内部研究数据集正式对外开放，覆盖NLP、CV等9个领域

https 网络安全大数据 DevOps 解决方案

今天，我们很高兴向大家介绍微软研究开放数据项目——这套新的云数据存储库致力于促进全球研究界的广泛合作。微软研究开放数据将提供一套便捷的数据集云托管平台，其同时代表着微软公司多年以来在一系列项目当中所使用的数据管理与研究成果。

2019-09-04

8900

到底什么是数据中台？

数据库数据安全大数据 sql

最近可能大家听到“数据中台”这个词越来越频繁了，有时候我跟一些朋友聊起来，也是都在说这个，但是一直不知道这到底是个什么。最近就看到这篇文章，觉得说的还挺好的，分享给大家看看，希望大家看完能对数据中台有一些认识。

2019-07-25

19.7K0

应届起薪 28w、不限专业、行业人才缺口 150w 的岗位……

大数据数据分析

抱歉大家，由于我的时间安排失误，这几天的推广连续集中在一起了，的确有点频繁，请大家谅解。这次推广是介绍来自优达学城的一门数据类课程，优达的课程质量一向是非常高的，这次也不例外，如果大家对数据分析感兴趣，推荐大家看一下~

2019-07-04

3590

听说你好不容易写了个爬虫，结果没抓几个就被封了？

爬虫大数据

在这个数据驱动的时代，仿佛只要掌握了大数据，就对时代潮流和风向预测有了更令人信服的发言权。

2019-05-06

4020

只会爬虫不会反爬虫？动图详解利用 User-Agent 进行反爬虫的原理和绕过方法！

爬虫 python 大数据企业网站

随着 Python 和大数据的火热，大量的工程师蜂拥而上，爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象，爬虫的发展进入了高峰期，因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本，不得不使出各种各样的技术手段来阻止爬虫工程师们毫无节制的向服务器索取资源，我们将这种行为称为『反爬虫』。

2018-12-07

2.6K0

GitHub 最大更新：直接运行代码；人工智能凉了？年度报告揭示真相

git 存储开源大数据 react

很简单，以后你不光能在 GitHub 上存储和搜索代码，而且还能直接运行部分代码。这个期待已久的更新获得一致好评。详情如何，下面我们会仔细说。

2018-11-08

4850

大数据时代的争议：Spark 能替代 Hive 吗？

大数据 spark hive 存储 sql

学习 Spark 的面试者普遍认为 Spark 必然会替代 Hive 成为新的一代大数据仓库标准。

2018-10-23

4.4K0

NanoNets：数据有限如何应用深度学习？

深度学习人工智能编程算法大数据神经网络

我觉得人工智能就像是去建造一艘火箭飞船。你需要一个巨大的引擎和许多燃料。如果你有了一个大引擎，但燃料不够，那么肯定不能把火箭送上轨道；如果你有一个小引擎，但燃料充足，那么说不定根本就无法成功起飞。所以，构建火箭船，你必须要一个巨大的引擎和许多燃料。深度学习（创建人工智能的关键流程之一）也是同样的道理，火箭引擎就是深度学习模型，而燃料就是海量数据，这样我们的算法才能应用上。——吴恩达使用深度学习解决问题的一个常见障碍是训练模型所需的数据量。对大数据的需求是因为模型中有大量参数需要学习。以下是几个例子展

2018-06-25

1K0

腾讯云主机中MySQL无法远程连接的解决办法

云数据库 SQL Server 数据库大数据

2017-03-30

16.9K0

腾讯云配置SSH免密码登录远程服务器

数据库大数据

2017-03-09

115.6K2

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态