腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Python攻城狮
专栏作者
举报
128
文章
187439
阅读量
40
订阅数
订阅专栏
申请加入专栏
全部文章
其他
python
爬虫
数据库
存储
linux
java
https
云数据库 SQL Server
sql
html
postgresql
api
面向对象编程
selenium
scrapy
微信
ajax
git
开源
自动化测试
udp
windows
php
xml
jquery
云数据库 Redis
django
github
unix
mongodb
人工智能
http
编程算法
numpy
tcp/ip
安全
数据分析
数据可视化
excel
bash
bootstrap
node.js
json
nosql
ubuntu
apache
bash 指令
apt-get
tornado
腾讯云测试服务
图像处理
容器
游戏
分布式
缓存
shell
html5
ssh
正则表达式
unity
ftp
aop
uml
数据处理
数据结构
腾讯云图数据可视化
image
iso
sum
微信公众号开发
搜索文章
搜索
搜索
关闭
Python采集微博热评进行情感分析祝你狗年脱单
python
人工智能
存储
数据库
爬虫
如果自己需要爬(cai)虫(ji)的数据量比较大,为了防止被网站封Ip,可以分时段爬取,另外对于爬到的数据一般是用来存储数据库,这就需要对数据进行去重处理,记录上次爬取的状态,就可以实现在爬虫中断后,可以快速继续上次的状态,实现增量爬取,这里可以参考我之前写过的一个新闻采集,增量采集新闻数据,本文写的对新浪微博的数据采集和处理完整代码在我的Github。 玩微博的人大多数应该知道微博搞笑排行榜的,刚好写这篇文之前看到榜姐1月8号0点话题是一人说一个,追女孩的小道理,感觉这个话题简直是对广大单身男性的福利啊,ヾ(✿゚゚)ノ,故有了何不就采集一下评论来分析一波的想法。
Python攻城狮
2018-08-23
626
0
使用Selenium抓取QQ空间好友说说1.安装Selenium2.在Python中使用Selenium获取QQ空间好友说说3.代码实现(基于Python3)
selenium
python
数据库
存储
通过Robo 3T(数据库MongoDB的一款功能强大的数据库管理工具)可以看到我们已经将拿到的数据库存储于数据库中
Python攻城狮
2018-08-23
1.6K
0
Spider与OpenPyXL的结合1.OpenPyXL基础操作操作数据保存到文件2.爬虫与OpenPyXL的结合(爬取前程无忧网站招聘数据,存储Excel表格中)使用同样的分析方法爬取智联招聘岗位信
爬虫
存储
api
通过上述的语句,将返回在A4处的单元格,如果不存在将在A4新建一个。 单元格的值也可以直接赋值
Python攻城狮
2018-08-23
944
0
mongoDB的安装及基本使用1.mongoDB简介2.MySQL的安装3.Mongodb下载安装3.安装pymongo4.Mongodb基本使用5.
mongodb
云数据库 SQL Server
nosql
数据库
存储
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
Python攻城狮
2018-08-23
1.3K
0
Redis的安装及基本使用1.Redis2.Redis安装3.redis常见配置4.redis数据操作5.redis发布订阅6.主从双备
云数据库 Redis
开源
数据结构
存储
数据库
Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU eviction),事务(transactions) 和不同级别的 磁盘持久化(persistence), 并通过 Redis哨兵(Sentinel)和自动 分区(Cluster)提供高可用性(high availability)。Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。
Python攻城狮
2018-08-23
516
0
Javascript(1)-js入门
java
html
存储
容器
这里主要指字符串的各种函数 str.length() 获取字符串长度 str.charAt(index)获取指定位置的字符 str.indexOf(char)获取指定字符在字符串中出现的位置 str.lastIndexOf(char)获取指定字符在字符串中最后出现的位置 str.substring(start, end)截取字符串 str.slice(start, end)截取字符串
Python攻城狮
2018-08-23
1.2K
0
数据库 - MySQL1.MySQL内容简介2.安装管理(linux)window下安装Mysql3.数据的完整性4.脚本命令操作5.数据库查询
数据库
云数据库 SQL Server
linux
存储
MySQL数据库,是当前应用非常广泛的一款关系型数据库 MySQL官网 数据库排名
Python攻城狮
2018-08-23
1.1K
0
Python-生成器1.什么是生成器2.创建生成器方法 3.send 4.实现多任务 5.迭代器 6.闭包
python
存储
编程算法
通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器:generator。
Python攻城狮
2018-08-23
745
0
Python中的模块介绍和使用1.import2.from…import 3.from … import * 4.as 5.定位模块 6.模块制作7.模块中的__all__8.python中的包 9.
python
java
shell
unix
存储
在Python中有一个概念叫做模块(module),这个和C语言中的头文件以及Java中的包很类似,比如在Python中要调用sqrt函数,必须用import关键字引入math这个模块,下面就来了解一下Python中的模块。
Python攻城狮
2018-08-23
899
0
文件的打开与关闭-IO1.文件的目的2.文件的打开与关闭 3.文件的读写 4.应用
存储
python
linux
windows
就是把一些存储存放起来,可以让程序下一次执行的时候直接使用,而不必重新制作一份,省时省力
Python攻城狮
2018-08-23
641
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档