首页
学习
活动
专区
工具
TVP
发布

Django Scrapy

专栏作者
121
文章
193478
阅读量
38
订阅数
python flask高级编程(1)
最简易的flask from flask import Flask app = Flask(__name__) # 装饰器路由 @app.route('/hello') def hello(): # 基于类的视图() return 'Hello, QiYue' app.run(debug=True) 将路由与类分离 from flask import Flask app = Flask(__name__) # @app.route('/hello') def hello()
98k
2019-06-25
7450
pipenv的使用
打开虚拟环境的python路径 ,进入 vim .project/Pipfile 修改url后的网址即可 清华 https://pypi.tuna.tsinghua.edu.cn/simple 阿里 http://mirrors.aliyun.com/pypi/simple/
98k
2019-06-15
8810
Python字符串相似度检测
python自带的字符串相似度检测库 difflib query_str = '市公安局' s1 = '广州市邮政局' s2 = '广州市公安局' s3 = '广州市检查院' print(difflib.SequenceMatcher(None, query_str, s1).quick_ratio()) print(difflib.SequenceMatcher(None, query_str, s2).quick_ratio()) print(difflib.SequenceMatcher(No
98k
2019-03-22
1.9K0
TensorFlow ubuntu16.04 python2.7 virtualenv环境搭建
系统 ubuntu16.04 python 2.7 virtualenv 官网教程 安装虚拟环境 sudo apt-get install python-pip python-dev pyt
98k
2019-03-19
7430
使用 python 快速搭建http服务 传输服务,下载服务器资源
python2 使用 python -m SimpleHTTPServer 快速搭建http服务 python3 使用 python -m httpserver 快速搭建http服务 摘要: 在 Linux 服务器上或安装了 Python 的机器上,可以使用 nohup python -m SimpleHTTPServer [port] & 快速搭建一个http服务。
98k
2018-11-09
1.9K0
supervisor进程拉起工具
Supervisor 是一个用 Python 写的进程管理工具,可以很方便的用来在 UNIX-like 系统(不支持 Windows)下启动、重启(自动重启程序)、关闭进程(不仅仅是 Python 进程)
98k
2018-10-10
1.3K0
Ubuntu安装Anaconda3
Anaconda介绍 Anaconda 是一套集成了python数据科学计算包的项目,免去了开发者手工配置各种依赖包的麻烦 下载相关 官网由于是境外网站,访问慢,推荐用清华大学的开源镜像站点 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 找到对应的版本,32、64位也要注意 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x8
98k
2018-06-13
1.8K0
python实现创建elasticsearch索引和Type
环境: python3.5 支持包: pymysql elasticsearch_dsl 安装 elasticsearch_dsl pip install elasticsearch_dsl 在elasticsearch中建立一个索引及type (索引类似于:关系数据库中的数据库;type类似于:关系数据库中的表table) #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/4/18 下午9:06 # @Author
98k
2018-04-24
1.5K0
python实现mysql数据同步到elasticsearch
环境: python3.5 支持包: pymysql elasticsearch_dsl 安装 pymysql elasticsearch_dsl pip install elasticsearch_dsl pip pymysql 代码实现 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/4/18 下午6:30 # @Author : lizhao # @File : mysql_data_to_elastic
98k
2018-04-24
5.4K1
倒排索引
主楼搜索引擎的主流算法 倒排索引源于实际应用中需要根据属性的值来记录,这种只能怪索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录开确定属性值,而是由属性值来确定记录的位置,因而称之为倒排索引inverted index。带有倒排索引的文件我们称之为倒排索引文件,简称倒排文件inverted file tf-idf概念 倒排索引待解决的问题 1 大小写转换的问题,如python PYTHON应该为一个词 2 题干抽取,looking和look应该处理成一个词 3 分词,若屏
98k
2018-04-23
9640
jupyter notebook下mongodb的使用
1 首先插一嘴,如何导入.json文件 命令行窗口打开 mongo.exe 创建数据库 db.createCollection('the_filename') 再打开个命令行窗口,用来导入
98k
2018-04-12
1.7K0
爬取knewone上的信息-- coding: utf-8 -
爬取knewone上的信息 <pre> author = 'LEE' -- coding: utf-8 - from bs4 import BeautifulSoup import time import requests import time import io import sys import urllib.request sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') url = 'http
98k
2018-04-12
5950
爬虫的主函数该怎么写
主函数中是将前边写的所有函数汇总,通过多线程,将爬虫稳步有序的进行。 头文件中的那些是之前写好的做引用 用到了多线程技术,在python中,Pool函数是个好的多线程工具 __author__ = 'Lee' from multiprocessing import Pool from beijing_proper import channel_list from items_combination import get_pages_url def get_all_links_from(channel)
98k
2018-04-12
1.5K0
scrapy 和 requetsts+beautifulsoup的差别
本质:scrapy是库 requetsts+beautifulsoup是库 两种事物集 技术选型 网页的分类 网页的分类 webservice 动态填充的数据+静态页面的展示 爬虫的功效
98k
2018-04-12
6300
根据 hades接口信息,做成树形表;再将相关数据显示出来
hades是根据python2.7下的django下开发的运维管理系统 相关数据的显示 树形目录 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Ti
98k
2018-04-12
7360
玩转 Jupyter Notebook (CentOS)
1 安装 Jupyter Notebook Jupyter Notebook 简介 Jupyter Notebook 是一个开源的 Web 应用程序,可以用来创建和共享包含动态代码、方程式、可视化及解释性文本的文档。 其应用于包括:数据整理与转换,数值模拟,统计建模,机器学习等等。 详情可以访问Jupyter官网 检查 Python 环境 CentOS 7.2 中默认集成了 Python 2.7,可以通过下面命令检查 Python 版本: python --version 安装 pip pip 是一个
98k
2018-04-12
3.2K1
conda的使用-管理不同版本的py
当需要管理多种版本的python pip 会比较麻烦 pip安装好的包升级换代也繁琐,anaconda就是来解决这一难题的工具 Anaconda Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理,并且已经包含了Python和相关的配套工具。 设置国内镜像源 由于
98k
2018-04-12
1.4K0
安装创建flask
Flask_RESTful_API_py35 使用 anaconda 工具来制作虚拟环境 conda create --name Flask_RESTful_API_py35 python=3.5 To activate this environment, use: source activate Flask_RESTful_API_py35 To deactivate an active environment, use: source deactivate 安装 flask con
98k
2018-04-12
1.4K0
python3使用zookeeper和私钥解密及编码转化配置信息
python3相关的zookeeper包支持的少,互联网上大量的文章都是使用的zkpython,可是zkpython只支持到python2.7,找了半天才寻找到 kazoo,也很好用 环境信息 python3.5 用到的包 kazoo base64 rsa #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 17/10/17 下午4:00 # @Author : lee # @File : get.py # @Version :
98k
2018-04-11
1.2K0
使用虚拟环境,搭建python3+scrapy
使用虚拟环境 查看当前的虚拟环境 wokon workon 选择自己用的 wokon xxx workon article_spider scrapy的搭建 在安装好scrapy的前前提下进
98k
2018-04-11
6030
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档