腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SeanCheney的专栏
专栏作者
举报
192
文章
367999
阅读量
88
订阅数
订阅专栏
申请加入专栏
全部文章
python
其他
tensorflow
scrapy
编程算法
机器学习
爬虫
数据分析
神经网络
scikit-learn
分布式
https
深度学习
github
http
网络安全
html
api
人工智能
numpy
keras
sql
开源
数据库
云数据库 SQL Server
云数据库 Redis
git
存储
缓存
强化学习
监督学习
决策树
pytorch
windows
官方文档
区块链
NLP 服务
数据挖掘
c 语言
css
json
linux
文件存储
网站
卷积神经网络
tcp/ip
迁移学习
微信
数据结构
pandas
学习笔记
比特币
自动驾驶
java
php
javascript
go
.net
node.js
嵌入式
ide
搜索引擎
ubuntu
命令行工具
知识图谱
腾讯云测试服务
url 安全
游戏
gui
dns
npm
selenium
无监督学习
anaconda
安全
数据处理
系统架构
架构设计
微服务
nest
analysis
axis
kaggle
macbook
root
sort
sys
system
title
测试
基础
进程
模型
权限
数据
数据类型
系统
系统设计
线程
协程
语法
搜索文章
搜索
搜索
关闭
Python的线程与进程
python
分布式
看过《Python分布式计算》,觉得线程和进程,最大的区别还是在于 —— 二者是如何与内存交互的。线程是共享式的内存架构,进程是分布式的内存架构,这才是问题的本质。下面是网上搜来的一些常规总结。 一、定义 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位. 线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它
SeanCheney
2018-04-24
712
0
Scrapy-Redis分布式抓取麦田二手房租房信息与数据分析准备工作租房爬虫二手房分布式爬虫数据分析及可视化
scrapy
云数据库 Redis
分布式
数据分析
爬虫
试着通过抓取一家房产公司的全部信息,研究下北京的房价。文章最后用Pandas进行了分析,并给出了数据可视化。 ---- 准备工作 麦田房产二手房页面(http://bj.maitian.cn/esfa
SeanCheney
2018-04-24
1.4K
0
《Python分布式计算》 第6章 超级计算机群使用Python (Distributed Computing with Python)典型的HPC群任务规划器使用HTCondor运行Python任务
python
分布式
本章,我们学习另一种部署分布式Python应用的的方法。即使用高性能计算机(HPC)群(也叫作超级计算机),它们通常价值数百万美元(或欧元),占地庞大。 真正的HPC群往往位于大学和国家实验室,创业公司和小公司因为资金难以运作。它们都是系统巨大,有上万颗CPU、数千台机器。 经常超算中心的集群规模通常取决于电量供应。使用几兆瓦的HPC系统很常见。例如,我使用过有160000核、7000节点的机群,它的功率是4兆瓦! 想在HPC群运行Python的开发者和科学家可以在本章学到有用的东西。不使用HPC群的读者,
SeanCheney
2018-04-24
4.1K
1
《Python分布式计算》 第5章 云平台部署Python (Distributed Computing with Python)云计算和AWS创建AWS账户创建一个EC2实例使用Amazon S3存
python
分布式
上一章介绍了创建Python分布式应用的Celery和其它工具。我们学习了不同的分布式计算架构:分布任务队列和分布对象。然而,还有一个课题没有涉及。这就时在多台机器上部署完成的应用。本章就来学习。 这里,我们来学习Amazon Web Services (AWS),它是市场领先的云服务产品,以在上面部署分布式应用。云平台不是部署应用的唯一方式,下一章,我们会学习另一种部署方式,HPC集群。部署到AWS或它的竞品是一个相对廉价的方式。 云计算和AWS AWS是云计算的领先提供商,它的产品是基于互联网的按需计算
SeanCheney
2018-04-24
3.3K
0
《Python分布式计算》 第7章 测试和调试分布式应用 (Distributed Computing with Python)概述常见错误——时钟和时间常见错误——软件环境常见问题——许可和环境常见
python
分布式
无论大小的分布式应用,测试和调试的难度都非常大。因为是分布在网络中的,各台机器可能十分不同,地理位置也可能不同。 进一步的,使用的电脑可能有不同的用户账户、不同的硬盘、不同的软件包、不同的硬件、不同的性能。还可能在不同的时区。对于错误,分布式应用的开发者需要考虑所有这些。查错的人需要面对所有的这些挑战。 目前为止,本书没有花多少时间处理错误,而是关注于开发和部署应用的工具。 在本章,我们会学习开发者可能会碰到的错误。我们还会学习一些解决方案和工具。 概述 测试和调试一个单体应用并不简单,但是有许多工具可以使
SeanCheney
2018-04-24
709
0
《Python分布式计算》 第8章 继续学习 (Distributed Computing with Python)前两章工具云平台和HPC调试和监控继续学习
python
分布式
这本书是一个简短但有趣的用Python编写并行和分布式应用的旅程。这本书真正要做的是让读者相信使用Python编写一个小型或中型分布式应用不仅是大多数开发者都能做的,而且也是非常简单的。 即使是一个简单的分布式应用也有许多组件,远多于单体应用。也有更多的错误方式,不同的机器上同一时间发生的事情也更多。 但是,幸好可以使用高质量的Python库和框架,来搭建分布式系统,使用起来也比多数人想象的简单。 另外,并行和分布式计算正逐渐变为主流,随着多核CPU的发展,如果还继续遵守摩尔定律,编写并行代码是必须的。 C
SeanCheney
2018-04-24
893
0
《Python分布式计算》第2章 异步编程 (Distributed Computing with Python)协程一个异步实例总结
python
分布式
从本章开始,终于开始写代码了!本书中所有的代码都适用于Python 3.5及以上版本。当模块、语句或语法结构不适用于以前的版本时(比如Python 2.7),会在本章中指出。进行一些修改,本书代码也可以运行在Python 2.x版本上。 先回顾下上一章的知识。我们已经学到,改变算法的结构可以让其运行在本地计算机,或运行在集群上。即使是在一台计算机上运行,我们也可以使用多线程或多进程,让子程序运行在多个CPU上。 现在暂时不考虑多CPU,先看一下单线程/进程。与传统的同步编程相比,异步编程或非阻塞编程,可以使
SeanCheney
2018-04-24
1.4K
0
《Python分布式计算》 第3章 Python的并行计算 (Distributed Computing with Python)多线程多进程多进程队列一些思考总结
python
分布式
我们在前两章提到了线程、进程,还有并发编程。我们在很高的层次,用抽象的名词,讲了如何组织代码,已让其部分并发运行,在多个CPU上或在多台机器上。 本章中,我们会更细致的学习Python是如何使用多个CPU进行并发编程的。具体目标是加速CPU密集型任务,提高I/O密集型任务的反馈性。 好消息是,使用Python的标准库就可以进行并发编程。这不是说不用第三方的库或工具。只是本章中的代码仅仅利用到了Python的标准库。 本章介绍如下内容: 多线程 多进程 多进程队列 多线程 Python从1.4版本开始就支持多
SeanCheney
2018-04-24
1.4K
0
《Python分布式计算》第1章 并行和分布式计算介绍 (Distributed Computing with Python)并行计算分布式计算共享式内存vs分布式内存阿姆达尔定律混合范式总结
python
分布式
本书示例代码适用于Python 3.5及以上。 ---- 当代第一台数字计算机诞生于上世纪30年代末40年代初(Konrad Zuse 1936年的Z1存在争议),也许比本书大多数读者都要早,比作者本人也要早。过去的七十年见证了计算机飞速地发展,计算机变得越来越快、越来越便宜,这在整个工业领域中是独一无二的。如今的手机,iPhone或是安卓,比20年前最快的电脑还要快。而且,计算机变得越来越小:过去的超级计算机能装下整间屋子,现在放在口袋里就行了。 这其中包括两个重要的发明。其一是主板上安装多块处理器(每个
SeanCheney
2018-04-24
1.5K
0
《Python分布式计算》 0 序言 (Distributed Computing with Python)作者简介审稿人简介序言本书的内容
python
分布式
Python分布式计算 ---- 作者简介 Francesco Pierfederici是一名喜爱Python的软件工程师。过去20年间,他的工作领域涉及天文学、生物学和气象预报。 他搭建过上万CPU核心的大型分布式系统,并在世界上最快的超级计算机上运行过。他还写过用处不大,但极为有趣的应用。他总是喜欢创造新事物。 “我要感谢我的妻子Alicia,感谢她在成书过程中的耐心。我还要感谢Packt出版社的Parshva Sheth和Aaron Lazar,以及技术审稿人James King,他们让这本书变得
SeanCheney
2018-04-24
1.1K
0
《Python分布式计算》 第4章 Celery分布式应用 (Distributed Computing with Python)搭建多机环境安装Celery测试安装Celery介绍更复杂的Celer
python
分布式
本章是前面某些知识点的延续。特别的,本章以实例详细的探讨了异步编程和分布式计算。本章关注Celery,一个复杂的用于构建分布应用的Python框架。最后,对比了Celery的对手:Pyro和Python-RQ。 此时,你应该已经明白了并行、分布和异步编程的基本含义。如果没有的话,最好再学习下前面几章。 搭建多机环境 学习Celery和其它Python包之前,先来搭建测试环境。我们开发的是分布应用,因此需要多机环境。 可以使用至少两台联网机器的读者可以跳过这部分。其余读者,请继续阅读。对于后者,仍然有免费或便
SeanCheney
2018-04-24
2.5K
0
Celery分布式任务队列插件Celery - Distributed Task Queue
分布式
http://docs.celeryproject.org/en/latest/index.html Celery - Distributed Task Queue Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operations with the tools required to maintain such a sys
SeanCheney
2018-04-24
596
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档