用理工科思维看待这个世界 系列爬虫专栏 崇尚的学习思维是:输入,输出平衡,且平衡点不断攀升。 曾经有大神告诫说:没事别瞎写文章;所以,很认真的写的是能力范围内的,看客要是看不懂,不是你的问题,问题在我,得持续输入,再输出。 今天的主题是:pymongo的简单实用及其实战
序号 | 内容 | 说明 |
---|---|---|
01 | 概念及对比说明 | -- |
02 | 对比 | -- |
03 | 实战 | -- |
04 | 参考及总结 | -- |
SQL术语 | Mongodb术语 | 解释说明 |
---|---|---|
database | database | 数据库 |
table | collection | 数据表,集合 |
row | document | 数据记录行,文档 |
column | field | 数据字段,域 |
index | index | 索引 |
primary key | primary key | 主键,mongodb自动将_id字段设为主键 |
可视化工具显示:
关系型数据库:数据记录的显示
001.png
Mongodb数据库:数据记录的显示
002.png
mongod --dbpath C:\Mongodb\Data
2:MySQL
mysql -u root -p
pymongo
2:MySQLdb
MySQLdb
from pymongo import MongoClient
client = MongoClient('localhost',27017) # 创建连接对象
db = client.exercise # 创建数据库
collection = db.tablename # 创建collection
# collection 使用各种方法实现:增删改查
2:MySQLdb
import MySQLdb
mysql = MySQLdb.connect(
user="root",
host="localhost",
passwd="123456",
port=3306,
db='exercise',
charset='utf8') # 创建连接对象
cursor = mysql.cursor() # 创建游标对象
# 游标对象下执行sql语句实现对数据的增删改查
# 插入数据
data = {"A":1,"B":2}
tablename.insert_one(data) # 向数据库插入一条数据
# 查询数据
tablename.find_one() # 获取数据库一条数据
# 按条件查找
tablename.find_one({"A":1}) # 按条件返回一条数据
# 插入多条数据
new_data = [{"C":3,"D":4},{"E":5}]
tablename.insert_many(new_data)
# 查询多条
for one in tablename.find():
print(one) # 逐条打印
# 计数
tablename.count() # 返回该集合下有多少条数据
实现了将数据储存至MySQL数据库
核心代码不变: 添加存储至mongodb 数据库中:
def save_to_mongodb(self, each_page_film_data, tablename):
client = pymongo.MongoClient()
db = client.exercise
result = db.tablename.insert(each_page_film_data)
client.close()
# each_page_film_data 是JSON格式的数据
效果图:可视化工具Robomongo
003.png
将全部数据取出查看:
def select_from_mongodb(self):
client = pymongo.MongoClient()
db = client.exercise
result = db.tablename.find()
return result
效果图:每条数据自动添加_id字段
004.png
浅显的对比MySQL 和 mongodb数据库。
数据库存在很多shell 指令.
具体查看官方文档。
关于本人: 国内小硕,半路出家的IT初学者。 兴趣领域:爬虫 , 数据科学 本人正在构建一个共同成长爬虫小型社群。持续精进。如果理念相似,欢迎加入。 文档及代码托管在Github上。