Jupyter notebook 是一种 Web 应用，能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中。例如，不久前我共享了我最爱的一个 Jupyter notebook ，它分析了 LIGO 实验探测到的两个碰撞的黑洞所发出的引力波。你可以下载数据，运行 notebook 中的代码，重复整个分析，实际上等于你自己探测引力波！
ECharts，是百度开源的一个项目，纯 Javascript 的图表库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖轻量级的 Canvas 类库 ZRender，提供直观，生动，可交互，可高度个性化定制的数据可视化图表。
云豆贴心提醒，本文阅读时间5分钟，文末有秘密！ ECharts，是百度开源的一个项目，纯 Javascript 的图表库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖轻量级的 Canvas 类库 ZRender，提供直观，生动，可交互，可高度个性化定制的数据可视化图表。 官网：http://echarts.baidu.com/ Echarts 基本使用展示 1、在Linux 服务器上安装 web服务器 2、
学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。
学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 当我们在浏览器中输入一个url后回车，后台会发生什么？ 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 那么学习爬虫需要掌握哪些库呢？ 通用： urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。
利用Python自带的包可以建立简单的web服务器。在DOS里cd到准备做服务器根目录的路径下，输入命令： python -m Web服务器模块 [端口号，默认8000] 例如： python -m SimpleHTTPServer 8080 然后就可以在浏览器中输入 http://localhost:端口号/路径
上一篇讲了《Python入门》Windows 7下Python Web开发环境搭建笔记，接下来讲一下Python语言Web服务的具体实现：第一个Python Web程序——简单的Web服务器。
前言 在当前数据爆发的时代，数据分析行业势头强劲，越来越多的人涉足数据分析领域。进入领域最想要的就是获取大量的数据来为自己的分析提供支持，但是如何获取互联网中的有效信息？这就促进了“爬虫”技术的飞速发展。 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
Mechanize是一个Python第三方库，它可以模拟浏览器的行为，实现自动化的网页访问、表单填写、提交等操作。下面是一个使用Mechanize库编写的爬虫的例子，它可以爬取百度搜索结果页面的标题和链接：
在当前数据爆发的时代，数据分析行业势头强劲，越来越多的人涉足数据分析领域。进入领域最想要的就是获取大量的数据来为自己的分析提供支持，但是如何获取互联网中的有效信息？这就促进了“爬虫”技术的飞速发展。
本文内容参考Github：https://github.com/lorien/awesome-web-scraping/blob/master/python.md
如果你想使用Python学习数据分析或数据挖掘，那么它应该是你第一个应该知道并会使用的工具，它很容易上手，用起来非常方便，是个对新手非常友好的工具。而事实也证明它的确很好用，在数据挖掘平台 Kaggle 上，使用 Python 的数据爱好者绝大多数使用 jupyter notebook 来实现分析和建模的过程，因此，如果你想学习机器学习，数据挖掘，那么这款软件你真的应该了解一下。
Python是一款高级编程语言，支持许多第三方库和框架，今天就给大家推荐流行的GUI库：remi。
选自pyimagesearch 作者：Adrian Rosebrock 机器之心编译 参与：Jane W、黄小天 本文介绍了如何使用 Keras、Redis、Flask 和 Apache 将自己的深度学习模型迁移到生产环境。文中的大多数工具可以互换，比如 Keras 可替换成 TensorFlow 或 PyTorch，Django 可代替 Flask，Nginx 可代替 Apache。作者唯一不推荐替换的工具是 Redis。同时本文还对深度学习 REST API 进行了压力测试，这种方法可以轻松扩展到添加的
awesome系列真是碉堡了~今天把Python的爬虫工具搬过来~ ——————译文分割线—————— 本列表包含Python网页抓取和数据处理相关的库。 网络相关 通用 urllib - 网络库(标准库) requests - 网络库 grab - 网络库(基于pycurl) pycurl - 网络库 (与libcurl绑定) urllib3 - 具有线程安全连接池、文件psot支持、高可用的Python HTTP库 httplib2 - 网络库 RoboBrowser - 一个无需独立浏览器即可访问
源 / 伯乐头条 这个列表包含与网页抓取和数据处理的Python库。 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。 MechanicalSoup
这个列表包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。 MechanicalSoup -一个与网站自动交互Py
来源：伯乐在线 这个列表包含与网页抓取和数据处理的Python库。 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。 MechanicalSoup -一
链接：https://mp.weixin.qq.com/s/UkXT20Oko6oYbeo7zavCNA
源 | 伯乐头条 | 小象 这个列表包含与网页抓取和数据处理的Python库。 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。 MechanicalS
做一个知识的索引 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。 MechanicalSoup -一个与网站自动交互Python库。 mechaniz
这个列表包含与网页抓取和数据处理的 Python 库。 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于 pycurl）。 pycurl – 网络库（绑定 libcurl）。 urllib3 – Python HTTP 库，安全连接池、支持文件 post、可用性高。 httplib2 – 网络库。 RoboBrowser – 一个简单的、极具 Python 风格的 Python 库，无需独立的浏览器即可浏览网页。 MechanicalSoup
0x01 Web 应用技术概览 1.1 架构 大多数 web 应用可以粗略划分为三个组件(component)。 1、客户端, 大多数情况下是浏览器。 2、服务端, Web 服务器接收客户端的HTTP请求并进行响应。另外，有时候 Web服务器只转发请求到应用服务器(Application Server),由应用服务器来处理请求。 3、后端存储, 后端存储一般是DBMS,用于查询和存储数据。 所有组件都有不同行为，这些不同行为将影响漏洞的存在性和可利用性。所有组件(无论是客户端还是服务端)都有可能产生漏洞或者
爬虫是按照一定规则，自动地提取并保存网页中信息的程序。通过向网站发起请求获取资源，提取其中有用的信息。爬虫在获取信息、整理数据等方面应用广泛。
adodb：我们领导推荐的数据库连接组件 bsddb3：BerkeleyDB的连接组件 Cheetah-1.0：我比较喜欢这个版本的cheetah cherrypy：一个WEB framework ctypes：用来调用动态链接库 DBUtils：数据库连接池 django：一个WEB framework docutils：用来写文档的 dpkt：数据包的解包和组包 MySQLdb：连接MySQL数据库的 py2exe：用来生成windows可执行文件 Pylons：我们领导推荐的web framework pysqlite2：SQLite的连接组件 pythonwin：Python的Windows扩展 setuptools：无奈，PEAK的一套python包管理机制 sqlalchemy：数据库连接池 SQLObject：数据库连接池 twisted：巨无霸的网络编程框架 wxPython-2.6：因为需要保持与linux相同的版本才没用最新的，GUI编程框架 pypcap：抓包的 python-dnet：控制网络安全的其他设备 pyevent：Python的事件支持 pydot：画图的，graphiz sendpkt：Python发包 simplejson：JSON的支持 DPKT：raw-scoket网络编程 Cx-oracle：连接oracle的好东东 Mechanize：爬虫连接网站常用 PIL：图像处理工具包 reportlab for PDF 文件。 PyQt4 for GUI界面 feedparser： rss解析 chardet：编码检测 scons: 项目构建工具，写好了模板用起来还是很方便的 scapy: 网络包构建分析框架,可编程的wireshark,有兴趣的google “Silver Needle in the Skype” pefile: windows pe文件解析器 winpdb: 自己的程序或者用别的库不太明白的时候就靠它了 pywmi: 省了好多折腾功夫 pylint: 培养良好的编码习惯 下面是准备用的,不做评论: pygccxml pyparsing pymacs idapython paimei pysvn pyLucene wikidpad
URL只是标识资源的位置，而HTTP是用来提交和获取资源。客户端发送一个HTTP请求到服务器的请求消息，包括以下格式：
Python的强大之处除了它的简洁易用，最厉害的就是它有着广泛的第三方库支持。今天小编就带你看下Python有哪些常用第三库吧, 知道且用过超过10个的欢迎留言~
pyfiglet，Python写的figlet程序，使用字符组成ASCII艺术图片
最近我与年轻的Web开发人员共事，他们第一次接触到用于生产的一些基础组件，为此出现了许多问题，这些组件都是“web服务”体系中常见的。通过这些问题，我看到了年轻人的困惑，虽然他们掌握了某种高级编程语言(如Node.js或Python)，但不知晓浏览器和他们选择的框架之间所发生复杂事情，不清楚框架的作用和使用的时机。
在互联网时代，网站数据是一种宝贵的资源，可以用于分析、挖掘、展示等多种目的。但是，如何从海量的网页中提取我们需要的数据呢？Python是一种强大而灵活的编程语言，它提供了许多用于爬虫和图像处理的库和工具，可以帮助我们实现这一目标。本文将介绍如何使用Python爬取网站数据并进行图像处理的基本步骤和方法。
1.定义： 搜索引擎用的爬虫系统 2.目标： 把所有互联网的网页爬取下来，放到本地服务器形成备份，在对这些网页做相关处理（提取关键字，去除广告），最后提供一个用户可以访问的借口
对于机器学习和人工智能研究人员而言，好多人都只是构建好模型后就没有进一步处理了，停留在一个比较粗糙的模型上面，没有将其变成一个产品，其实好多创业型人工智能公司都是设计好模型后，将其转化成产品，之后再推向市场。每一个深度学习研究者心中或多或少都想成为一名创业者，但不知道超哪个方向发展。那么，本文将从最简单的网页应用开始，一步一步带领你使用TensorFlow创建一个卷积神经网络（CNN）模型后，使用Flash RESTful API将模型变成一个网页应用产品。 本文使用TensorFlow NN模块构建CNN模型，并在CIFAR-10数据集上进行训练和测试。为了使模型可以远程访问，使用Python创建Flask web应用来接收上传的图像，并使用HTTP返回其分类标签。
Web开发的早期阶段，开发者需要手动编写每个页面，例如一个新闻门户网站，每天都要修改它的HTML页面，随着网站规模和体量的增大，这种方式就变得极度糟糕。为了解决这个问题，开发人员想到了用外部程序来为Web服务器生成动态内容，也就是说HTML页面以及页面中的动态内容不再通过手动编写而是通过程序自动生成。最早的时候，这项技术被称为CGI（公共网关接口），当然随着时间的推移，CGI暴露出的问题也越来越多，例如大量重复的样板代码，总体性能较为低下等，因此在时代呼唤新英雄的背景下，PHP、ASP、JSP这类Web应用开发技术在上世纪90年代中后期如雨后春笋般涌现。通常我们说的Web应用是指通过浏览器来访问网络资源的应用程序，因为浏览器的普及性以及易用性，Web应用使用起来方便简单，免除了安装和更新应用程序带来的麻烦，而且也不用关心用户到底用的是什么操作系统，甚至不用区分是PC端还是移动端。
Cloud Studio会为我们自动构建一个Cloud Studio 功能的 Python 示例。
今天突然遇到一个比较全面的 python的框架的列表，分享一下。 http://www.cnblogs.com/lonenysky/p/4780300.html
链接: https://adamj.eu/tech/2020/03/10/django-check-constraints-sum-percentage-fields/
XKCD是一个流行的极客漫画网站，其官网首页有一个 Prev 按钮，让用户导航到前面的漫画。如果你希望复制该网站的内容以在离线的时候阅读，那么可以手动导航至每个页面并保存。但手动下载每张漫画要花较长的时间，你可以用python写一个脚本，在几分钟内完成这件事！
TCP/IP是一种使用套接字（socket）的网络协议。Socket是包括IP地址(在网络中是唯一的)和端口(对于特定的IP地址是唯一的)的元组，计算机使用IP地址和端口与其他计算机通信。Socket类似文件，可以打开和关闭，也可以读写。Socket编程是一种低级的网络编程，但你需要知道，计算机中提供网络访问的每个软件最终都必须处理Socket（不过，很可能是通过某些库来处理）。
Python 生态，向来以各种类库齐全而闻名，这也是这门语言如此受欢迎的重要原因。今天萝卜哥就给大家分享一下这几天的战果，宵衣旰食，不眠不休的整理了近千个 Python 库，收藏的同时，给个在看不为过吧！
最近汇总了平时常用到的9个很好的Python工具，它们能极大的提高我们的工作效率，安装它们，然后逐步熟练使用它们。若有用，可以收藏这篇文章。
Awesome Python 环境管理 管理 Python 版本和环境的工具 我想很多程序员应该记得 GitHub 上有一个 Awesome – XXX 系列的资源整理。awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。 Awesome Python 环境管理 包管理 包仓库 分发 构建工具 交互式解析器 文件 日期和时间 文本处理 特
选自 Nvidia Blog 作者：Aaron Markham、贾扬清 机器之心编译 昨天，Facebook 推出了 Caffe2，一个兼具表现力、速度和模块性的开源深度学习框架。它沿袭了大量的 Caffe 设计，可解决多年来在 Caffe 的使用和部署之中发现的瓶颈问题。最终，Caffe2 打开了算法实验和新产品的大门。通过在内部用于各种深度学习和增强现实任务，Caffe2 已经在 Facebook 对于规模和性能的需求上得到了锻造。同时，它为移动端应用提供了令人印象深刻的新功能，例如高级相机和即时通讯功
最近汇总了平时常用到的9个很好的Python包，它们能极大的提高我们的工作效率，安装它们，然后逐步熟练使用它们。 若有用，可以收藏这篇文章。 1 Faker生成假数据 你若还在为生成名字、地址、IP地址而发愁，试试Faker库吧。 它是专业生成假数据的神器，但生成的数据看起来又如此“不假”。 基本用法如下所示： from faker import Faker fake = Faker(locale="zh_CN") fake.name() # '谭柳' fake.address() #
上次山月给大家分享了32个图形化界面（GUI）库，不知道有没有感兴趣的同学去试着设计一下自己想要的界面~
一个非常简单的键盘记录程序，可捕获击键并将其每秒发送到外部页面.JS和PHP代码在归档中提供的PHP。
迄今为止，在我遵循的传统服务器端模型中，有一个客户端（由用户驱动的Web浏览器）向应用服务器发出HTTP请求。请求可以简单地请求HTML页面，例如当你单击“个人主页”链接时，或者它可以触发一个操作，例如在编辑你的个人信息之后单击提交按钮。在这两种类型的请求中，服务器通过直接发送新的网页或通过发送重定向来完成请求。然后客户端用新的页面替换当前页面。只要用户停留在应用的网站上，该周期就会重复。在这种模式下，服务器完成所有工作，而客户端只显示网页并接受用户输入
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
