《流畅的python》是一本适合python进阶的书, 里面介绍的基本都是高级的python用法. 对于初学python的人来说, 基础大概也就够用了, 但往往由于够用让他们忘了深入, 去精通. 我们希望全面了解这个语言的能力边界, 可能一些高级的特性并不能马上掌握使用,
0) 先唠叨几句 学习 Python 有几周了,也写了 2 个小项目来解决自己的实际需求。简单记录一下,供自己备忘,也供后来者参考。 0.0) 我为什么选择 Python 我之前使用 Swift + Vapor 开发了 iPic (图床工具) 的后端服务,遇到很多问题: 主要还…
这个问题来自于知乎用户的提问,当时看到这个问题,我只是做了下简单的回答。后来我发现,对于很多人来说,更准确的说应该是大部分的 Python 初学者,对这个问题理解的不是很深刻。所以这里我来做下总结,并试图把这个问题说明白。 对于很多编程语言来说,程序都必须要有一个入口,比如 C…
在学习和使用 Python 的过程中,我作了不少笔记,并对一些笔记进行了加工和完善,发表在博客上。随着笔记的增加,我就萌生了写一本书的想法,希望能比较系统地总结相关知识,巩固自己的知识体系,而不是停留在『感觉好像懂了』的状态中。 有了想法之后,接下来就要开始写了。当然,从产生想法…
支持 60 多个视频网站下载,接近满速
关于 Scrapy 框架的一个实践。
对于并行计算,有很多高大上的概念,我也不全懂。这里就单单罗列一下我对于多进程和多线程计算的理解和总结。
Hadoop 学习(2)
本文与各位 Python 爱好者分享一套 GUI 应用视频教程,视频录制者是 Martin Fitzpatrick,主要是教大家如何利用 Python 和 Qt,来快速开发简单的 GUI 应用。
本文作者、阿里工程师鹿星,也是众多北漂中的一员。如何从各大租房网的房源里面,找到最称心如意的小窝?今天让鹿星带大家看看数据能不能做出最优选择。文末有代码。
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/销毁进程或者线程是非常消耗资源的,这个时候我们就要编写自己的线程池/进程池,以空间换时间。但从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,实现了对threading和multiprocessing的进一步抽象,对编写线程池/进程池提供了直接的支持。
关注知乎 Live 也很久了,但是很少看到程序员做 Live。最近看前端都展开了几场 Live, 而我大知乎最热语言 Python 还没有相关 Live。和写书一样,我再来带个头,希望越来越多的同学能把自己的经验和思考分享出来。 再次介绍一下这次 Live: 我叫董伟明,毕业之前是一名「烹…
在实际工作中,难免会遇到从网页爬取数据信息的需求,本文主要针对各网站特点给出不同的爬虫方式,可以应对大量场景的数据爬取。
网络爬虫也叫网络蜘蛛,如果把互联网比喻成一个蜘蛛网,那么蜘蛛就是在网上爬来爬去的蜘蛛,爬虫程序通过请求url地址,根据响应的内容进行解析采集数据, 比如:如果响应内容是html,分析dom结构,进行dom解析、或者正则匹配,如果响应内容是xml/json数据,就可以转数据对象,…
引言 相信使用Django的各位开发者在存储时间的时候经常会遇到这样子的错误: RuntimeWarning: DateTimeField received a naive datetime while time zone support is active.这个错误到底是什么…
笔者整理了一些 python 中容易出错的点,希望对大家有所帮助。
我在博客中曾经介绍过两篇关于函数的文章,第一篇是 关于 Python 函数是第一类对象,第二篇是关于 Lambda 函数,今天来说说 Python 闭包。 什么是闭包?闭包有什么用?为什么要用闭包?今天我们就带着这 3 个问题来一步一步认识闭包。 闭包和函数紧密联系在一起,介绍闭包…
Awesome Functional Python
我们今天继续深入学习 asyncio。 同步机制 asyncio 模块包含多种同步机制,每个原语的解释可以看线程篇,这些原语的用法上和线程 / 进程有一些区别。 Semaphore(信号量) 并发的去爬取显然可以让爬虫工作显得更有效率,但是我们应该把抓取做的无害,这样既可以保证我们不容…
扫盲帖
简明扼要的介绍了Python新手需要掌握的知识点,还有示例代码
作者先讲述了栈的基本概念,并且通过实例分析让我们更好地理解栈。
本文与大家分享一些Python编程语言的入门书籍,其中不乏经典。我在这里分享的,大部分是这些书的英文版,如果有中文版的我也加上了。有关书籍的介绍,大部分截取自是官方介绍。
这是全栈数据工程师养成攻略系列教程的第十二期:12 数据库 用Python操作MySQL。 我们已经接触了如何使用Web工具phpMyAdmin和本地软件Navicat操作MySQL,现在再来了解下如何使用Python操作MySQL。 MySQLdb MySQLdb是Pytho…
分享多线程编程。
原文地址:Design a web crawler 原文作者:Donne Martin 译文出自:掘金翻译计划 译者:吃土小2叉 校对者:lsvih 设计一个网页爬虫 注意:这个文档中的链接会直接指向系统设计主题索引中的有关部分,以避免重复的内容。你可以参考链接的相关内容,来了…
怎样才能写出 pythonic 的代码?
在上篇文章豆瓣电影,电视剧 DM 实战中提及到,我和室友们产生了剧荒,萌生出要做一个个人用的推荐系统,解决剧荒的问题,经过一轮的死缠烂打,这个个人推荐系统终于成型了。
萌新今天学习了嵩天老师的 Python 数据分析与展示,来写点记录。
Python 标准库为我们提供了 threading 和 multiprocessing 模块编写相应的多线程 / 多进程代码,但是当项目达到一定的规模,频繁创建 / 销毁进程或者线程是非常消耗资源的,这个时候我们就要编写自己的线程池 / 进程池,以空间换时间。但从 Python3.2 开始,标准库为我们提供了 concurrent.futures 模块,它提供了 ThreadPoolExecutor 和 ProcessPoolExecutor 两个类,实现了对 threading 和 multiprocessing 的进一步抽象,对编写线程池 / 进程池提供了直接的支持。
在本教程中,我们将使用python-social-auth库来实现Facebook, Twitter和GitHub身份验证。它们支持其他几个服务,而过程应该是有点类似的。python-social-auth库有几个自定义选项,这使得有时开始会有挑战。因此,对于本教程,我将通过必备步骤来引导你,最终,你将会拥有一个功能齐全的社交网站身份验证。
理解 Django 的基本原理,把握它整体框架,牢记一些基本规则。
笨办法学 Python · 续 练习 18:性能测量
数据结构作为计算机从业人员的必备基础,Java, c 之类的语言有很多这方面的书籍,Python 相对较少,其中比较著名的一本 problem-solving-with-algorithms-and-data-structure-using-python ,所以我在学习的过程中将其翻译了中文版,希望对大家有点帮助。
学习用 Scrapy 爬虫抓取站点数据
Python 可以说是现在最流行的机器学习语言,而且你也能在网上找到大量的资源。你现在也在考虑从 Python 入门机器学习吗?本教程或许能帮你成功上手,从 0 到 1 掌握 Python 机器学习,至于后面再从 1 到 100 变成机器学习专家,就要看你自己的努力了。
Python 之旅。
之前我们使用多线程 (threading) 和多进程 (multiprocessing) 完成常规的需求,在启动的时候 start、jon 等步骤不能省,复杂的需要还要用 1-2 个队列。随着需求越来越复杂,如果没有良好的设计和抽象这部分的功能层次,代码量越多调试的难度就越大。有没有什么好的方法把这些步骤抽象一下呢,让我们不关注这些细节,轻装上阵呢?