Numpy使用4

上篇博客写到了numpy的索引与切片,这篇博客介绍numpy的一些数学统计上的使用和如何结合numpy实现对结构化文本的处理

通用函数

所谓的通用函数(ufunc)就是指元素级别的数组函数,你可以将其看做简单函数其接受一个或者多个标量值,产生一个或者多个标量值。

In [87]: arr
Out[87]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

In [88]: np.sq
np.sqrt     np.square   np.squeeze  

In [88]: np.sqrt(arr)
Out[88]: 
array([ 0.        ,  1.        ,  1.41421356,  1.73205081,  2.        ,
        2.23606798,  2.44948974,  2.64575131,  2.82842712,  3.        ])

In [92]: y = np.random.randn(10)

In [93]: x = np.random.randn(10)

In [94]: x
Out[94]: 
array([-1.21694813,  1.78409159, -1.65434122, -0.15399479,  1.60253837,
        0.74424786, -0.67561382, -0.40101547,  0.98082673, -2.02494822])

In [95]: y
Out[95]: 
array([-0.00402273, -0.06694182, -2.65686769, -0.39958789, -0.77770152,
        0.13560955,  0.80155845, -0.65633865, -0.10009588,  2.00409772])

In [96]: np.maxi
np.maximum         np.maximum_sctype  

In [96]: np.maximum(x,y)
Out[96]: 
array([-0.00402273,  1.78409159, -1.65434122, -0.15399479,  1.60253837,
        0.74424786,  0.80155845, -0.40101547,  0.98082673,  2.00409772])

类似与上面的函数还有很多,下表列出部分:

利用numpy进行数据处理

利用numpy强大的数组(矩阵)能力,可以将很多的数据处理的问题转化为对数组的处理问题

比如对一个数组将其中大于0的值置为2,小于0的置为-2,这个怎么做??? python的一般做法是遍历,但是这存在性能问题,我们看看numpy是怎么做的 利用numpy.where()可以简单的做到,where()函数是if condition x else y的矢量化版本,我们可以这么做:

In [97]: arr = np.random.randn(4,4)

In [98]: arr
Out[98]: 
array([[-1.91177362,  0.82087817,  0.74335108,  1.80535455],
       [-1.04152013, -1.55160244,  0.58826121,  0.0138859 ],
       [ 0.86341095,  2.0301454 ,  0.75151171, -0.38441971],
       [-0.95949818,  0.39064892,  0.17747275, -0.00499914]])

In [99]: np.where(arr>0, 2, -2) ## 矢量化版本的if condition
Out[99]: 
array([[-2,  2,  2,  2],
       [-2, -2,  2,  2],
       [ 2,  2,  2, -2],
       [-2,  2,  2, -2]])

(1)数学与统计

In [101]: arr = np.random.randn(4,4)

In [102]: arr
Out[102]: 
array([[ 1.22742206, -0.49602643,  0.06893939, -0.5974265 ],
       [ 1.33043955, -0.24695017,  1.39751381, -0.23691971],
       [-1.25554674,  0.37242292, -0.14985591, -0.11907288],
       [ 0.06103707, -1.28255389, -0.67935123, -1.35710905]])

In [103]: arr.mean()
Out[103]: -0.1226898557091208

In [104]: arr.mean(axis=0)
Out[104]: array([ 0.34083799, -0.41327689,  0.15931151, -0.57763203])

In [105]: arr.mean(axis=1)
Out[105]: array([ 0.05072713,  0.56102087, -0.28801315, -0.81449428])

In [106]: arr.sum()
Out[106]: -1.9630376913459329

In [107]: arr.sum(axis=0)
Out[107]: array([ 1.36335194, -1.65310755,  0.63724605, -2.31052813])

类似的方法还有很多,下图列出部分:

(2)数组的集合运算

看下例:

In [108]: values = np.array([2,3,1,6,7,4])

In [109]: values1 = np.array([2,6,8])

In [110]: np.in1d(values, values1) ## 判断values的元素是否在values1中
Out[110]: array([ True, False, False,  True, False, False], dtype=bool)

(3)文件的输入输出

主要是那个函数np.load()和np.save(),前者负责读取文件,后者负责写文件

In [112]: test_write = np.arange(10)

In [113]: np.save('test',test_write)  ## 会在当前目录下创建名叫"test.npy"的二进制文件

In [114]: load_test = np.load('test.npy')  ## 读入文件

In [115]: load_test
Out[115]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

还可以使用np.loadtxt(),通过制定分隔符(delimiter)来读取结构化的文本文件,这个我在博客Numpy使用1中介绍过,就不在多说了,需要的可以去看看

其它的特性还有些想关于线性代数方面的,这个大家自行百度。

其实存取结构化的数据(类似于表结构)numpy并不是很好的选择,之后我会写个介绍pandas的博客,这个对各种表结构的处理比numpy强大太多,numpy的强大之处在于其n-dim array的能力

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏开发技术

排序之简单选择排序

  本篇博客是在伍迷兄的博客基础上进行的,其博客地址点击就可以进去,里面好博客很多,我的排序算法都来自于此;一些数据结构方面的概念我就不多阐述了,伍迷兄的博客中...

842
来自专栏编程

Python读书笔记4

上期介绍了数字型数据,本期和大家分享的是另一个常见的数据类型字符串,可以简单的理解为Excel中的文本。 Excel在存储内核中其实只有两种:文本、数字;日期归...

1915
来自专栏青青天空树

3032-杨辉三角

还记得中学时候学过的杨辉三角吗?具体的定义这里不再描述,你可以参考以下的图形: 1 1 1 1 2 1 1 3 3 1 1 4 6 4 1 1 5 10 10 ...

813
来自专栏我的博客

ES中的排序

1.默认排序 默认排序是 _score 降序 2.相关字段排序 GET /megacorp/employee/_search {   “query”:...

3105
来自专栏三丰SanFeng

Linux和Windows的换行符

一直对换行符这个东西概念比较模糊,直到最近花了一点时间仔细研究了一下,才彻底搞清楚这个问题,本文前面介绍部分是外文转载,后面例子是个人总结,希望能对大家有一些帮...

1687
来自专栏灯塔大数据

干货 | 数据科学入门必读:如何使用正则表达式?

有时候,这些数据中会包含大量文本语料。比如,假如我们需要搞清楚「xxx文件 」中谁给谁发送过邮件,那么我们就要筛查 1150 万份文档!我们可以采用人工方式,亲...

1072
来自专栏糊涂一二事

社区文章测试 URL 链接合法性

https://en.wikipedia.org/wiki/Rod_Johnson_%28programmer%29

2820
来自专栏C语言及其他语言

[每日一题]C语言程序设计教程(第三版)课后习题3.7

题目描述 要将"China"译成密码,译码规律是:用原来字母后面的第4个字母代替原来的字母.例如,字母"A"后面第4个字母是"E"."E"代替"A"。因此,"C...

2474
来自专栏我的博客

1分钟搞定linux sort命令

sort是用来排序的,默认是按照ascii升序排列 sort -u排序去重 sort -r 默认是升序排列,如果要降序就带上它 sort -o把结果定向到文件(...

2596
来自专栏ml

HDU-----(4858)项目管理(模拟)

项目管理 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java...

2558

扫码关注云+社区