前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >Python自用工具包PyTls

Python自用工具包PyTls

作者头像
sladesal
发布于 2019-07-31 10:25:35
7470
发布于 2019-07-31 10:25:35
举报
文章被收录于专栏：机器学习之旅机器学习之旅

我们搞了个python的工具包PyTls。

做这件事的初衷是发生了一个星期要用python同时开发3个项目的情况，我发现了两个现象：1.有很多定制化的需求是极度高频反复重写的；2.有很多功能之前写过，可能因为稍许复杂又忘了，再用的时候又要去Google。所以，拉着同组的一个实习生，一起维护了PyTls的这个项目，为的就是那句"life is short, we need python"。

所有的详细的测试demo都可以在我的git找到，PyTls的测试demos 希望可以帮助到你一些，以下简单的介绍解释一下每个功能。

dictt

get_map_value()

代码语言：javascript
复制
由于工程设计问题，我们的数据流中存在多层的字典数据格式：
```
In [7]: msg = {'time':{'20190714':234,'20190715':311}}
In [8]: dictt.get_map_value(msg,None,True,'time','20190714')
Out[8]: 234
```
这边None是查找不到的时候的默认值，True可以不用管，是我这边设计的是否一定要底层查找，比较业务化通用性不好，True之后就是依次需要按逻辑查找的dict字段。

update_map_value()

代码语言：javascript
复制
is_strict：True不允许新增kv，这边不会报错，只会增加不成功，需要注意一下。

sort_map_key()

代码语言：javascript
复制
按key排序字典，desc：是否降序
```
In [24]: msg = {11: 2, 2: 3, 9: 2}
    ...: print(dictt.sort_map_key(msg, desc=False))
[(2, 3), (9, 2), (11, 2)]
```

sort_map_value()

代码语言：javascript
复制
按value排序，其他同上

get_tree()

代码语言：javascript
复制
构建一个以字典为基础的树结构，字典套字典

swap()

代码语言：javascript
复制
key,value交换

merge()

代码语言：javascript
复制
合并两个dict,顺便说一句，reduce(merge,*dicts)，合并N个，这个比较少用就没整理

func_dict()

代码语言：javascript
复制
这个功能比较拗口，比如我们现在有个function，input 2，output 4，且想存储所有的kv结果，所以可以用这个功能进行记录。注意，这边的入参应该是一个**函数**。
```
F = dictt.func_dict(lambda x: x * 2)
print((F[2], F))
# (4, defaultdict(<function <lambda> at 0x103d812f0>, {2: 4}))
```

WordCount()

代码语言：javascript
复制
字典树，快速查询和高效存储，支持string和list/tuple；支持计数、查找、位置校验三个核心功能
目前只output了是否存在查询词的功能，稍微改一下output就可以得到计数结果和位置结果，看有需要后期扩展一下这个功能，要说的是里面用了dfs，有点慢所以加了cache，这个点大家可以自行优化。

StrBuffer

参考java中的StringButter而写的字符类，增加一些功能，重命名了我比较熟悉喜欢用的函数名，加了一些str内置没有的功能

append()

代码语言：javascript
复制
增加一个字符

index_at()

代码语言：javascript
复制
查找某个元素的index

sort()

代码语言：javascript
复制
排序元素，字典序

reverse()

代码语言：javascript
复制
倒排所有字符

char_at()

代码语言：javascript
复制
查找某个index的元素

to_str()/storge()

代码语言：javascript
复制
to_str:以string的方式打印当前字符串
storge:以list的方式打印当前字符串

strt

str_reverse()

代码语言：javascript
复制
字符串反转

str_repeat()

代码语言：javascript
复制
字符串快速复制，n为复制的次数

str_splits()

代码语言：javascript
复制
字符串批切割，split_chars为分隔符，支持多个，以|连接，warning_info可以设置为False进行关闭，取消提示信息

typet

基础的格式判断类，复用程度不高，主要是用来支持这个项目中的其他功能

is_none()

代码语言：javascript
复制
是否为None，支持None和np.nan判断

is_type()

代码语言：javascript
复制
判断是否为对应类型，类似于isinstance

is_empty()

代码语言：javascript
复制
判断是否为空

is_has_attr()

代码语言：javascript
复制
判断是否含有某个属性，类中是否有某个属性变量

loaddatat

pickle 的数据持久化，这个我用的最多，特别好用，可以支持在保持模型，整理数据，保存日志，存储报错信息等各个方向，我基本上每次必加载

readbunchobj()

代码语言：javascript
复制
读数据

writebunchobj()

代码语言：javascript
复制
存数据

randomt

随机数

get_random()

代码语言：javascript
复制
迭代器办，每次随机取一个;min_value, max_value限制范围，limit限制可取的迭代次数

Chinese2num.py

数字相关，提取数字更加强大的功能建议参考YMMNlpUtils

Chinese_2_num()

代码语言：javascript
复制
中文转成数字，支持繁体中文简体中文的转换，如果是提取手机号的或者更复杂的数据建议参考YMMNlpUtils项目

isdigit()

代码语言：javascript
复制
判断是否为数字，同样也支持小数，也可以识别str后的数字，会自动解析掉str，"0.234"-->True

matht

数学相关的类，包括信息熵，ln，互信息，条件概率等;所有熵计算的函数中有个expiation的参数，设置为False就不提醒是否越大越稳定还是不稳定的提示信息了，主要是为老忘，自己提醒自己的

ln()

代码语言：javascript
复制
以e为地的对数

entropy()

代码语言：javascript
复制
熵值

condition_entropy()

代码语言：javascript
复制
条件熵

MI()

代码语言：javascript
复制
来自于条件概率计算法：H(x)-H(x/y)

NMI()

代码语言：javascript
复制
来自于公式的互信息熵计算：2*∑pxylog(pxy/(px*py))/(H(x)+H(y))

listt

list相关的处理，list是我最常用的一个type，所以我写了比较多而且以后也会最常去更新的一个地方，确实很多东西固化下来很好用;该部分代码尽可能考虑了时间复杂度，可能会牺牲一些空间复杂度，各位自行取舍

index_hash_map()

代码语言：javascript
复制
list元素出现位置，等同于numpy array中的`np.where`

Pi()

代码语言：javascript
复制
list元素出现的个数分布

single_one()

代码语言：javascript
复制
当数据是**成对出现**时候，找出其中落单的element；[2,2,1]-->[1]

subset()

代码语言：javascript
复制
找出对应list的子集;[1,2]-->[[],[1],[2],[1,2]]

permute()

代码语言：javascript
复制
找出对应list的全排列;[1,2]-->[1,2],[2,1]

flatten()

代码语言：javascript
复制
高维列表展开;[[1,2,3],[3,[4]]]--> [1, 2, 3, 3, 4]

duplicates()

代码语言：javascript
复制
原序去重；[3,3,1,2] -- >[3,1,2]

topn()

代码语言：javascript
复制
高频统计，返回list中高频出现的topn的对象，n为需要返回的个数；list:[3,3,1,2],n=1-->[(3,2)]

getindex()

代码语言：javascript
复制
返回list中最大/最小元素的位置:[3,1,2],flag="max"-->0/[3,1,2],flag="min"-->1;这边参数flag记得要小写min/max，大写暂不识别

split()

代码语言：javascript
复制
list按照指定个数切分，比如split([1,2,3,4],3)-->[(1,2,3)]；如果list%需要切分的长度!=0，则末端部分会被舍弃，需要注意一下；如果确实需要的话可以进行尾部以0填充，保证不丢失数据；

unzip()

代码语言：javascript
复制
把zip后的数据还原

欢迎大家关注我的个人bolg，知乎，更多代码内容欢迎follow我的个人Github，如果有任何算法、代码、转>行疑问都欢迎通过邮箱发消息给我。

本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019.07.29 ，如有侵权请联系 cloudcommunity@tencent.com 删除
python
腾讯云测试服务
git

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ，欢迎热爱写作的你一起参与！

python
腾讯云测试服务
git
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • dictt
    • get_map_value()
      • update_map_value()
        • sort_map_key()
          • sort_map_value()
            • get_tree()
              • swap()
                • merge()
                  • func_dict()
                    • WordCount()
                    • StrBuffer
                      • append()
                        • index_at()
                          • sort()
                            • reverse()
                              • char_at()
                                • to_str()/storge()
                                • strt
                                  • str_reverse()
                                    • str_repeat()
                                      • str_splits()
                                      • typet
                                        • is_none()
                                          • is_type()
                                            • is_empty()
                                              • is_has_attr()
                                              • loaddatat
                                                • readbunchobj()
                                                  • writebunchobj()
                                                  • randomt
                                                    • get_random()
                                                    • Chinese2num.py
                                                      • Chinese_2_num()
                                                        • isdigit()
                                                        • matht
                                                          • ln()
                                                            • entropy()
                                                              • condition_entropy()
                                                                • MI()
                                                                  • NMI()
                                                                  • listt
                                                                    • index_hash_map()
                                                                      • Pi()
                                                                        • single_one()
                                                                          • subset()
                                                                            • permute()
                                                                              • flatten()
                                                                                • duplicates()
                                                                                  • topn()
                                                                                    • getindex()
                                                                                      • split()
                                                                                        • unzip()
                                                                                        领券

                                                                                        腾讯云开发者

                                                                                        扫码关注腾讯云开发者

                                                                                        扫码关注腾讯云开发者

                                                                                        领取腾讯云代金券

                                                                                        热门产品

                                                                                        热门推荐

                                                                                        更多推荐

                                                                                        Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

                                                                                        深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

                                                                                        腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

                                                                                        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

                                                                                        Copyright © 2013 - 2024 Tencent Cloud.

                                                                                        All Rights Reserved. 腾讯云 版权所有

                                                                                        登录 后参与评论