《机器学习实战》书中使用的是python2.7，而对于现在新接触python的同学来说都是上手python3.6版本。
有段时间没有使用python了，对它的语法有点生疏，花了几个小时熟悉，期间发现很多小细节不清楚。为了下次能快速上手，避免重复犯错，我将python使用过程中的一些问题在这篇博文中记录小结一下，主要内容涉及到python操作mysql数据库，python发送http请求，解析txt文本，解析JSON字符串，crontab执行python脚本，等等。（注：我用的是python2.7版本）
Sina爬虫教程 Scrapy环境搭建 环境：window10 + python2.7（包含scrapy）+ mongoDB 1.1 安装集成了python2.7的anaconda anaconda下载链接：https://www.continuum.io/downloads 由于scrapy库目前只能在python2.7上使用，请务必确保版本正确，如果已经安装了python3.5，建议使用anaconda_2.7的版本，因为anaconda中集成了python2.7且使用anaconda安装第三库非常方便
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
HttpRunner4.x 支持 2 种响应结果字段提取方式：jmespath 表达式和 正则表达式（regex）
环境搭建上参看官方说明文档:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html
上一篇：Jmeter系列之参数化，主要介绍JMeter的三种参数化方式：用户参数、CSV Data Set Config、 CSV函数助手。
在做性能监控的时候，如果能把监控的CPU和内存增长变化用图表展示出来会比较直观，花了点时间用Python实现了下，来看下怎么用Python绘制Android CPU和内存变化曲线，生成增长曲线图表的PNG图片。
作者：点点寒彬 来源： http://blog.csdn.net/wyb199026/article/details/51908450 背景 测试工具箱写到一半，今天遇到了一个前后端数据交互的问题，就
13 Apr 2018 shell技巧分享（三） 这是一个系列文章，主要分享shell（部分功能仅适用于bash）的使用建议和技巧，每次分享3点，希望你能有所收获。 1 交互模式时自动输入 $ pip uninstall redis Uninstalling redis-2.10.6: /usr/lib/python2.7/site-packages/redis-2.10.6.dist-info/DESCRIPTION.rst /usr/lib/py
不知道大家过年都是怎么过的，反正栏主是在家睡了一天，醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码，想起之前练手的时候写过一个抓取百度贴吧发帖记录中的邮箱与手机号的爬虫，于是开源分享给大家学习与参考。
scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。scrapy的安装稍显麻烦，不过按照以下步骤去进行，相信你也能很轻松的安装使用scrapy。
这也就联想到，很多开发人员将表中的字段存储成字符串类型存储到MySQL数据表中，那么在从字段值到之后，势必要进行转化，这样更方便使用；
有许多可以从 PubMed 的文章摘要中提取信息的文本挖掘脚本，包括： NLTK ， TextBlob ， gensim ， spaCy ， IBM Whatson NLU ， PubTator ， LitVar ， NegBio ， OpenNLP 和 BioCreative 等1。这里介绍一下 PubTator Central (PTC) 2。
提到序列化与反序列化，通常会想到 json ,xml .在J2EE的开发中，这是很常用的技术，比如一个java class与xml之间的序列化与反序列化,我们可以通过 xstream来实现，如果是与json之间的转换，我们可以通过 gson.jar或者jsonlib.jar 来实现。方法很多，也是常见的方法。
urllib和urllib2模块（python2.*分urllib和urllib2；python3..4.1中把urllib和urllib2合并统一为一个包package，注意版本3是包不是模块）；
jsonpath和常规的json有哪些区别呢？在Python中，json是用于处理JSON数据的内置模块，而jsonpath是用于从JSON数据中提取特定数据的查询语言和相关库。
1、"调度中心OnLine:"右侧显示在线的"调度中心"列表, 任务执行结束后, 将会以failover的模式进行回调调度中心通知执行结果, 避免回调的单点风险;
在FastAPI中，我们可以使用Python的标准类型注释来定义数据模型。例如，以下是一个描述用户信息的数据模型：
近年来，Python语言凭借其入门简单、功能强大和开发效率高等特性逐渐成为最受欢迎的开发语言，与此同时，Python在安全领域的应用也渐趋广泛，开始被用在黑客和渗透测试的各个领域。
Ueditor HTML编辑器是百度开源的在线HTML编辑器,功能非常强大，像表格可以直接拖动调整单元格大小等， DjangoUeditor是把此编辑器集成为可以在django项目中直接使用的app，让django项目可以方便的使用这个编辑器。
读取一个目录下的每个文件，过滤掉文件中的数字和中文，把每个英语单词提取出来写入 Mongodb。
一、模块 模块是Pyhon最高级别的程序组织单元，它将程序代码和数据封装起来以便重用。实际的角度，模块往往对应Python程序文件。 每个文件都是一个模块，并且模块导入其他模块之后就可以使用导入模块定义的变量名。模块可以由两个语句和一个重要的内置函数进行处理。 import: 使客户端（导入者）以一个整体获取一个模块。 from:容许客户端从一个模块文件中获取特定的变量名。 reload:在不中止Python程序的情况下，提供了一个重新载入模块文件代码的方法。 在一个模块文件的顶层定义的所有变量名都成为了被导入的模块对象的属性。 模块至少有三个角色： 代码重用：模块还是定义变量名的空间，被认作是属性。可以被多个外部的客户端应用。 系统命名空间的划分： 现实共享服务和数据： 1、python程序构架 一个ptyhon程序包括了多个含有Python语句的文件。程序是作为一个主体的，顶层的文件来构造的，配合有零个或多个支持文件，在Python中这些文件称作模块。 标准模块：python自带了200多个使用的模块、成为标准连接库 import如何工作 执行三个步骤 1）、找到模块文件 2）、编译成位码（需要时） 3）、执行模块的代码来创建其所定义的对象。 在之后导入相同的模块时候，会跳过这三个步骤，而只提取内存中已加载模块对象。 搜索模块 导入模块时，不带模块的后缀名，比如.py Python搜索模块的路径： 1)、程序的主目录 2)、PTYHONPATH目录（如果已经进行了设置） 3)、标准连接库目录（一般在/usr/local/lib/python2.X/） 4)、任何的.pth文件的内容（如果存在的话）.新功能，允许用户把有效果的目录添加到模块搜索路径中去 .pth后缀的文本文件中一行一行的地列出目录。 这四个组建组合起来就变成了sys.path了， >>> import sys >>> sys.path 导入时，Python会自动由左到右搜索这个列表中每个目录。 第1，第3元素是自动定义的，第2，第4可以用于扩展路径，从而包括自己的源码目录。 import b的形式可能加载 源码文件b.py 字节码文件.pyc 目录b 编译扩展模块，比如linux的b.so 用C编写的编译好的内置模块，并通过静态连接至Python ZIP文件组件，导入时自动解压压缩。 java类型，在Jython版本的python中。 .NET组件，在IronPython版本中的Python中 脚本中随处可见 object.attribute这里表达式法：多数对象都有一些可用的属性。可以通过"."运算符取出。 有些是可调用的对象。例如，函数。 第三方工具：distutils 第三方扩展，通常使用标准连接库中的distutils工具来自动安装。使用distutils的系统一般附带setup.py脚本 命令空间是一种独立完备的变量包，而变量就是命名空间对象的属性。模块的命令空间包含了代码在模块文件顶层赋值的所有变量名（也就是没有嵌套与def和class语句中） 二、模块代码编写基础 1、模块的创建和使用。 创建模块 后缀.py文本文件，模块顶层指定的所有变量名都会变成其属性。 定义一个module.py模块 name='diege' age=18 def printer(x): print x 使用模块 import全部导入 >>> import module 属性 >>> module.name 'diege' 函数 >>> module.printer('hi') hi >>> module.printer('9') 9 from语句 from将获取（复制）模块特定变量名 from 模块名 import 需要复制的属性 from 模块名 import 需要复制的属性 as 新的属性名 from会把变量名赋值到另一个作用域，所以它就可以让我们直接在脚本中使用复制后的变量名，而不是通过模块 >>> from module import name >>> name 'diege >>> from module import name as myname >>> myname 'diege' >>> from module import printer as PR >>> PR('hi python') hi python >>> PR('99') 99 from * 语句 from 模块名 import * 取得模块顶层所有赋了值的变量名的拷贝。 模块只导入一次，因为该操作开销大 import和from是赋值语句,是可执行
值提取是一个非常流行的编程概念，它用于各种操作。但是，从 JSON 响应中提取值是一个完全不同的概念。它帮助我们构建逻辑并在复杂数据集中定位特定值。本文将介绍可用于从 JSON 响应中提取单个值的各种方法。在开始值提取之前，让我们重点了解 JSON 响应的含义。
01 Mar 2018 python技巧分享（八） 这是一个系列文章，主要分享python的使用建议和技巧，每次分享3点，希望你能有所收获。 1 pip安装指定版本号的包 $ pip install redis==2.7.4 OK CLOSED Collecting redis==2.7.4 Installing collected packages: redis Successfully installed redis-2.7.4 $ pip uninst
作者：matrix 被围观: 4,254 次 发布时间：2017-04-16 分类：零零星星 | 无评论 »
开始安装 1.更新gcc,因为gcc版本太老会导致新版本python包编译不成功，已安装php环境请忽略
如果出现以上所示的错误信息，表示update-alternatives没有添加Python的替代版本。
drozer是一款针对Android系统的安全测试框架。drozer可以通过与Dalivik VM，其它应用程序的IPC端点以及底层操作系统的交互，避免正处于开发阶段，或者已经部署的android应用程序和设备暴露出不可接受的安全风险。
Traceback (most recent call last): File "/home/himalayas/fdsearch/fdsearch/bin/fdsearch", line 34, in <module> from fdsearch import wsgi File "/home/himalayas/fdsearch/fdsearch/wsgi.py", line 32, in <module> import fdsearch.domain File "/home/himalayas/fdsearch/fdsearch/domain/__init__.py", line 20, in <module> from notify_handler import NotifyHandler File "/home/himalayas/fdsearch/fdsearch/domain/notify_handler.py", line 23, in <module> from cjson import encode as json_encode File "build/bdist.linux-x86_64/egg/cjson.py", line 7, in <module> File "build/bdist.linux-x86_64/egg/cjson.py", line 4, in __bootstrap__ File "/home/himalayas/virtualenv/python2.7-fd/lib/python2.7/site-packages/pkg_resources.py", line 945, in resource_filename self, resource_name File "/home/himalayas/virtualenv/python2.7-fd/lib/python2.7/site-packages/pkg_resources.py", line 1633, in get_resource_filename self._extract_resource(manager, self._eager_to_zip(name)) File "/home/himalayas/virtualenv/python2.7-fd/lib/python2.7/site-packages/pkg_resources.py", line 1661, in _extract_resource self.egg_name, self._parts(zip_path) File "/home/himalayas/virtualenv/python2.7-fd/lib/python2.7/site-packages/pkg_resources.py", line 1025, in get_cache_path self.extraction_error() File "/home/himalayas/virtualenv/python2.7-fd/lib/python2.7/site-packages/pkg_resources.py", line 991, in extraction_error raise err pkg_resources.ExtractionError: Can't extract file(s) to egg cache The following error occurred while trying to extract file(s) to the Python egg cache: [Errno 13] Permission denied: '/root/.python-eggs' The Python egg cache directory is currently set to: /root/.python-eggs
pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。
版权声明：博客文章都是作者辛苦整理的，转载请注明出处，谢谢！ https://blog.csdn.net/Quincuntial/article/details/79047050
今天在使用python中的json转换碰到一个问题: 接收一个post的json字符串:
作者说 本人秉着方便他人的想法才开始写技术文章的，因为对于自学的人来说想要找到系统的学习教程很困难，这一点我深有体会，我也是在不断的摸索中才小有所成，如果你们觉得我写的不错就帮我推广一下，让更多的人看到。另外如果有什么错误的地方也要及时联系我，方便我改进，谢谢大家对我的支持
本文适用于解决openssl升级到1.1.0以上版本，导致shadowsocks2.8.2启动报undefined symbol: EVP_CIPHER_CTX_cleanup错误。 最近将kali升级到了最新版本，编译之后shadowsocks无法启动，报错如下： INFO: loading config from ss.json 2016-12-14 22:47:50 INFO loading libcrypto from libcrypto.so.1.1 Traceback (most recen
上期内容简单说到了。params类类型参数的解析方法。相较于简单。本期内容就json格式的数据解析，来进行阐述。
当你在处理异常时，由于处理不当或者其他问题，再次抛出另一个异常时，往外抛出的异常也会携带原始的异常信息。
在juno上指定ip启动虚拟机会出错，查询日志，在/var/log/nova/nova-compute.log 里面有如下出错信息(拖动滚动条看最右边的)： 复制 2015-06-09 05:53:41.966 19951 ERROR nova.compute.manager [-] [instance: d9058791-9971-4962-8c18-5fb3188355ab] Instance failed to spawn 2015-06-09 05:53:41.966 19951 TRACE nov
supervisor的错误日志如下： Traceback (most recent call last): File "/home/himalayas/owengine/owprice/server.py", line 10, in <module> import action File "/home/himalayas/owengine/owprice/action/__init__.py", line 2, in <module> from owprice import owP
由于 json 语法规定 数组或对象之中的字符串必须使用双引号，不能使用单引号 (官网上有一段描述是 “A string is a sequence of zero or more Unicode characters, wrapped in double quotes, using backslash escapes” )，因此下面的转换是错误的：
把这个式子分成三个部分：输出处理、for循环、if判断。其中if判断部分是可选的。
在某些情况下，你不用覆盖已有的PYTHONPATH，只需要在开头或结尾加上新的路径即可。
早上看到hadoop的计算结果没有进入到mysql数据库，查看关于hadoop计划任务的输出日志发现有报错信息。果断拿来手动执行相关的python脚本，并没有错误，然后丢到计划任务里面就报错，折腾了我一上午终于搞好了。 报错信息 报错执行/data/datax/bin/tool_hive2mysql_build_json.py脚本的时候ImportError。 [root@uhadoop-mrdv2j-task1 data]# tailf /var/log/bigdata/run-hive-qz_yy_uv
Kubeless 是一个 Kubernetes 原生的 Serverless 解决方案。
是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
这个异常通常都是由mapping中的部分字段类型设置错误，或者索引和映射书写有错误，以及格式错误导致的。
（2019.8.14 19:53）吃饭前用这个方法实战了一下，吃完回来一看好像不太行：跑完一组参数之后，到跑下一组参数时好像没有释放之占用的 GPU，于是 notebook 上的结果，后面好几条都报错说 cuda out of memory。
Scrapy是采用Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取采集web站点信息并从页面中提取结构化的数据。
完整操作如下： jhczz@vaio:~$ cd work/Python/Vietualenv/ jhczz@vaio:~/work/Python/Vietualenv$ ll total 8 drwxrwxr-x 2 jhczz jhczz 4096 Aug 28 10:49 ./ drwxrwxr-x 5 jhczz jhczz 4096 Aug 28 10:41 ../ jhczz@vaio:~/work/Python/Vietualenv$ jhczz@vaio:~/work/Python/Vie
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
