手把手教你上手python库pydbgen(附代码、安装地址)

本文通过介绍pydbgen的安装使用,以及一些基本功能实现和代码,带你简单地了解一下pydbgen。

SQL或数据科学领域的初学者通常会很难轻易访问大型示例数据库文件(.DB或.sqlite)来练习SQL命令。那么用一个简单的工具或库来生成一个包含多个表的,并且用自己选择的数据填充的大型数据库会不会很好?

当你开始学习和实践数据科学时,通常最担心的不是算法或技术,而是原始数据的可用性。幸运的是,网上有许多高质量的真实数据库可用于尝试学习热门机器学习技巧。但是,从我个人的经验来看从个人经验来讲,我发现学习SQL并不是这样。现在,对于数据科学领域来说,掌握SQL的基础知识与知道如何使用Python或R编写代码几乎同等重要。但是,访问存有真实数据的足够大的数据库(例如名称,年龄,信用卡,SSN,地址,生日等)并不像访问Kaggle上的玩具数据集一样常见,这些数据集是为机器学习的任务专门设计或策划的。

用一个简单的工具或库来生成一个包含多个表的,并且用自己选择的数据填充的大型数据库会不会很好?

除了数据科学领域的初学者,即使经验丰富的软件测试人员也可能发现使用简单的工具很有用,只需几行代码,他们就可以任意生成包含随机(假)而且有意义的条目的大型数据集。

我很高兴能介绍一个轻量级的Python库,即pydbgen。你可以在这里阅读了解关于软件包的详细信息。(链接:http://pydbgen.readthedocs. Io /en /latest/#)我将在短文中回顾类似的细节。

pydbgen究竟是什么?

它是一个轻量级的纯python库,用于生成随机有用的条目(例如名称,地址,信用卡号码,日期,时间,公司名称,职位名称,车牌号码等),并将其保存在Pandas数据框对象中,或者作为数据库文件中的SQLite表格或MS Excel文件。

如何安装?

它(当前版本为1.0.5)是托管在PyPI(Python Package Index repository)上的。请记住你需要提前安装Faker(链接:https://faker.readthedocs.io/en/latest/index.html)来完成这项工作。所以,只需键入:

pip install pydbgen

请注意,它目前仅在Python 3.6上进行了测试。它不适用于Python 2的安装。

如何使用?

你必须创建一个pydb对象才能开始使用它。

import pydbgen from pydbgen import pydbgen myDB=pydbgen.pydb()

然后,你可以访问由pydbobject公开的各种内部函数。例如,要打印随机的美国城市:

myDB.city_real() >> 'Otterville' for _ in range(10): print(myDB.license_plate()) >> 8NVX937 6YZH485 XBY-564 SCG-2185 XMR-158 6OZZ231 CJN-850 SBL-4272 TPY-658 SZL-0934

如果你只是写'city'而不是'city_real',你会得到虚构的城市名称

print(myDB.gen_data_series(num=8,data_type='city')) >> New Michelle Robinborough Leebury Kaylatown Hamiltonfort Lake Christopher Hannahstad West Adamborough

如何生成一个带有随机条目的Pandas数据框?

你可以选择要生成的数量和数据类型。请注意,所有内容都以string/texts形式返回。

testdf=myDB.gen_dataframe(5,['name','city','phone','date']) testdf

如何生成数据库表?

你可以选择要生成数据的数量和类型。请注意,所有内容都以数据库的text/ VARCHAR所有数据类型返回所有数据都以text/ VARCHAR类型返回数据库。你可以指定数据库文件名和表名。

myDB.gen_table(db_file='Testdb.DB',table_name='People', fields=['name','city','street_address','email'])

这会生成一个可用于MySQL或SQLite数据库服务器的.DB文件。 生成的数据库表在SQLite数据库浏览器中打开。

如何生成Excel文件?

与上面类似,只需使用以下代码生成随机数据的Excel文件即可。 请注意,'simple_phone'集被设置为False,因此会生成复杂的长型电话号码。这样可以方便试验更多涉及数据提取的代码!

myDB.gen_excel(num=20,fields=['name','phone','time','country'], phone_simple=False,filename='TestExcel.xlsx')

用一种很酷的方法生成随机emailIDs以便废物利用?

pydbgen中一种内置方法是realistic_email,它从种子名称中生成随机电子邮件IDs。你能想到在网络上使用这个吗?你不想给出真实的电子邮件ID,但是可以给出一个相似的?

for _ in range(10): print(myDB.realistic_email('Tirtha Sarkar')) >> Tirtha_Sarkar@gmail.com Sarkar.Tirtha@outlook.com Tirtha_S48@verizon.com Tirtha_Sarkar62@yahoo.com Tirtha.S46@yandex.com Tirtha.S@att.com Sarkar.Tirtha60@gmail.com TirthaSarkar@zoho.com Sarkar.Tirtha@protonmail.com Tirtha.S@comcast.net

未来的改进和用户贡献

当前版本是1.0.5,可能包含许多bug。如果你在执行过程中注意到任何bug或者你的程序崩溃(除了你的错误输入),请告诉我。另外,如果你有一个很酷的想法来为源代码做贡献,Github repo(链接:https://github.com/tirthajyoti/pydbgen)将为你打开。有一些问题很容易想到:

  • 我们可以将机器学习/统计建模和这个随机数据生成器集成吗?
  • 可视化功能可以被添加到发生器中吗?

所有的可能性是无穷无尽且令人激动万分的……

如果你有任何问题或想法可以分享,请通过tirthajyoti[AT]gmail.com联系作者。你也可以在Python,R或MATLAB以及机器学习资源中查找作者的GitHub存储库(链接:https://github.com/tirthajyoti?tab=repositories)以获取其他有趣的代码片段。 如果你像我一样热衷于机器学习/数据科学,请随时在LinkedIn上添加我(链接:https://www.linkedin.com/in/tirthajyoti-sarkar-2127aa7/)或在Twitter上关注我(链接:https://twitter.com/tirthajyotiS)。

原文链接:https://www.codementor.io/tirthajyotisarkar/introducing-pydbgen-a-random-dataframe-database-table-generator-hi6i65h46

译者简介

王婷,南京理工大学在读研究生,爱笑得有眼角鱼尾纹的运气不赖的女生。不喜欢呆板、教条、无聊,喜欢接触新事物,参加新活动,融入新环境,结交新朋友,互相学习,取长补短。

翻译组招募信息

工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

原文发布于微信公众号 - 数据派THU(DatapiTHU)

原文发表时间:2018-04-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏全栈工程师成长之路

2017计算机系书单推荐

我是一名iOS开发工程师,我想成为一名优秀的程序员,我虽然不是计算机系的学生,但我不能落后,我要努力成为优秀程序员的一员。我觉得每个人都有自己的想法和规划,一个...

60110
来自专栏玉树芝兰

如何用Python和R对《权力的游戏》故事情节做情绪分析?

想知道一部没看过的影视剧能否符合自己口味,却又怕被剧透?没关系,我们可以用情绪分析来了解故事情节是否足够跌宕起伏。本文一步步教你如何用Python和R轻松愉快完...

762
来自专栏何俊林

(已开源)一款仿线上电商项目《有宠商城》

本文来自赵若位同学开发的一款仿线上电商项目《有宠商城》,已经开源在github,点击阅读原文,可查看本项目github地址。 项目介绍: 前言:学如逆水行舟,不...

2426
来自专栏CSDN技术头条

那些必读的数据库领域论文

之前林仕鼎曾整理过系统架构领域的学习资料,这几天Spark核心团队成员辛湜(Reynold Xin)公开了他整理的一份数据库学习资料列表,Hacker News...

23710
来自专栏星汉技术

计算机基础(二)

1688
来自专栏点点滴滴

引物设计

893
来自专栏程序员互动联盟

【答疑解惑第三讲】硬件设计应该从那本书入手?

疑惑一 学习过程中如何避免只听不练? 没必要专门的找练习去做,一般教材的后面都有课后题,做的前提是做这章节在理论都理解的差不多了,就在电脑上用编译器独立的完成,...

3307
来自专栏阮一峰的网络日志

元数据(MetaData)

元数据是用来描述数据的数据(Data that describes other data)。单单这样说,不太好理解,我来举个例子。 下面是契诃夫的小说《套中人》...

29010
来自专栏企鹅号快讯

程序猿必须知道的一些有用的网站

来自:开源中国 原文:https://github.com/sdmg15/Best-websites-a-programmer-should-visit 在学习...

20810
来自专栏瓜大三哥

读懂用好Timing Report

静态时序分析 静态时序分析(Static Timing Analysis)简称STA,采用穷尽的分析方法来提取出整个电路存在的所有时序路径,计算信号在这些路径...

2385

扫码关注云+社区