腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SeanCheney的专栏

专栏作者

192

文章

371236

阅读量

88

订阅数

《利用Python进行数据分析·第3版》学习笔记2·Python语法基础

python 数据分析基础学习笔记语法

运行Python解释器很便捷，在终端里输入python就进入了Python解释器。如果要输出文本“Hello world”，则使用print语句print("Hello world")。

2023-11-27

2070

《利用Python进行数据分析·第3版》学习笔记1·准备环境

python 数据分析模型数据学习笔记

这5年中，数据分析又发生了很大的变化。尤其是眼见着OpenAI的GPT横扫技术领域，让以往一切模型方法看起来都像“小孩子的游戏”一样。大模型成为了海量信息和有效信息之间的新桥梁，而上一座桥梁是以谷歌的PageRank为代表的搜索算法。幸好，因为数据分析是直接跟数据打交道，并且要根据数据生成决策，这方面是人的强项，暂时不会受到影响。

2023-04-01

2.1K0

Loguru：优雅的Python程序日志

https 网络安全数据分析

不同的日志等级，输出效果也不一样（等级由低到高是DEBUG、INFO、WARNING、ERROR、CRITICAL）

2020-07-20

3K0

使用PyEcharts画双轴图

安装PyEcharts：pip install pyecharts 存储图片还要再安装（实际上是必须要安装的，否则render的时候会出错）：pip install pyecharts-snapshot

2019-02-27

3.6K0

《利用Python进行数据分析·第2版》附录A NumPy高级应用A.1 ndarray对象的内部机理A.2 高级数组操作A.3 广播A.4 ufunc高级应用A.5 结构化和记录式数组A.6 更多

python 数据分析 numpy

在这篇附录中，我会深入NumPy库的数组计算。这会包括ndarray更内部的细节，和更高级的数组操作和算法。这章包括了一些杂乱的章节，不需要仔细研究。 A.1 ndarray对象的内部机理 NumPy的ndarray提供了一种将同质数据块（可以是连续或跨越）解释为多维数组对象的方式。正如你之前所看到的那样，数据类型（dtype）决定了数据的解释方式，比如浮点数、整数、布尔值等。 ndarray如此强大的部分原因是所有数组对象都是数据块的一个跨度视图（strided view）。你可能想知道数组视图arr[

2018-04-24

4.6K0

《利用Python进行数据分析·第2版》附录B 更多关于IPython的内容（完）B.1 使用命令历史B.2 与操作系统交互B.3 软件开发工具B.4 使用IPython高效开发的技巧B.5 IPy

python 数据分析

第2章中，我们学习了IPython shell和Jupyter notebook的基础。本章中，我们会探索IPython更深层次的功能，可以从控制台或在jupyter使用。 B.1 使用命令历史 Ipython维护了一个位于磁盘的小型数据库，用于保存执行的每条指令。它的用途有：只用最少的输入，就能搜索、补全和执行先前运行过的指令；在不同session间保存命令历史；将日志输入/输出历史到一个文件这些功能在shell中，要比notebook更为有用，因为notebook从设计上是将输入和输出的代码放到

2018-04-24

1.5K0

《利用Python进行数据分析·第2版》第14章数据分析案例14.1 来自Bitly的USA.gov数据14.2 MovieLens 1M数据集14.3 1880-2010年间全美婴儿姓名14.4

python 数据分析

本书正文的最后一章，我们来看一些真实世界的数据集。对于每个数据集，我们会用之前介绍的方法，从原始数据中提取有意义的内容。展示的方法适用于其它数据集，也包括你的。本章包含了一些各种各样的案例数据集，可以用来练习。案例数据集可以在Github仓库找到，见第一章。 14.1 来自Bitly的USA.gov数据 2011年，URL缩短服务Bitly跟美国政府网站USA.gov合作，提供了一份从生成.gov或.mil短链接的用户那里收集来的匿名数据。在2011年，除实时数据之外，还可以下载文本文件形式的每小时快照。

2018-04-24

2.9K0

《利用Python进行数据分析·第2版》第13章 Python建模库介绍13.1 pandas与模型代码的接口13.2 用Patsy创建模型描述13.3 statsmodels介绍13.4 sciki

python 数据分析

本书中，我已经介绍了Python数据分析的编程基础。因为数据分析师和科学家总是在数据规整和准备上花费大量时间，这本书的重点在于掌握这些功能。开发模型选用什么库取决于应用本身。许多统计问题可以用简单方法解决，比如普通的最小二乘回归，其它问题可能需要复杂的机器学习方法。幸运的是，Python已经成为了运用这些分析方法的语言之一，因此读完此书，你可以探索许多工具。本章中，我会回顾一些pandas的特点，在你胶着于pandas数据规整和模型拟合和评分时，它们可能派上用场。然后我会简短介绍两个流行的建模工具，st

2018-04-24

2.2K0

《利用Python进行数据分析·第2版》第7章数据清洗和准备7.1 处理缺失数据7.2 数据转换7.3 字符串操作7.4 总结

python 数据分析

在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。这些工作会占到分析师时间的80%或更多。有时，存储在文件和数据库中的数据的格式不适合某个特定的任务。许多研究者都选择使用通用编程语言（如Python、Perl、R或Java）或UNIX文本处理工具（如sed或awk）对数据格式进行专门处理。幸运的是，pandas和内置的Python标准库提供了一组高级的、灵活的、快速的工具，可以让你轻松地将数据规变为想要的格式。如果你发现了一种本书或pandas库中没有的数据操作方式，请尽管

2018-04-24

5.2K0

《利用Python进行数据分析·第2版》第8章数据规整：聚合、合并和重塑8.1 层次化索引8.2 合并数据集8.3 重塑和轴向旋转8.4 总结

python 数据分析数据库存储

在许多应用中，数据可能分散在许多文件或数据库中，存储的形式也不利于分析。本章关注可以聚合、合并、重塑数据的方法。首先，我会介绍pandas的层次化索引，它广泛用于以上操作。然后，我深入介绍了一些特殊的数据操作。在第14章，你可以看到这些工具的多种应用。 8.1 层次化索引层次化索引（hierarchical indexing）是pandas的一项重要功能，它使你能在一个轴上拥有多个（两个以上）索引级别。抽象点说，它使你能以低维度形式处理高维度数据。我们先来看一个简单的例子：创建一个Series，并用一个

2018-04-24

2.6K0

《利用Python进行数据分析·第2版》第6章数据加载、存储与文件格式6.1 读写文本格式的数据6.2 二进制数据格式6.3 Web APIs交互6.4 数据库交互6.5 总结

python 数据分析

访问数据是使用本书所介绍的这些工具的第一步。我会着重介绍pandas的数据输入与输出，虽然别的库中也有不少以此为目的的工具。输入输出通常可以划分为几个大类：读取文本文件和其他更高效的磁盘存储格式，加

2018-04-24

7.2K0

《利用Python进行数据分析·第2版》第3章 Python的数据结构、函数和文件3.1 数据结构和序列3.2 函数3.3 文件和操作系统3.4 结论

python 数据结构数据分析

本章讨论Python的内置功能，这些功能本书会用到很多。虽然扩展库，比如pandas和Numpy，使处理大数据集很方便，但它们是和Python的内置数据处理工具一同使用的。我们会从Python最基础的数据结构开始：元组、列表、字典和集合。然后会讨论创建你自己的、可重复使用的Python函数。最后，会学习Python的文件对象，以及如何与本地硬盘交互。 3.1 数据结构和序列 Python的数据结构简单而强大。通晓它们才能成为熟练的Python程序员。元组元组是一个固定长度，不可改变的Python序列对

2018-04-24

1.3K0

Scrapy-Redis分布式抓取麦田二手房租房信息与数据分析准备工作租房爬虫二手房分布式爬虫数据分析及可视化

scrapy 云数据库 Redis 分布式数据分析爬虫

试着通过抓取一家房产公司的全部信息，研究下北京的房价。文章最后用Pandas进行了分析，并给出了数据可视化。 ---- 准备工作麦田房产二手房页面（http://bj.maitian.cn/esfa

2018-04-24

1.4K0

《Python数据分析》2nd

python 数据分析

《Python数据分析》（Python for Data Analysis, 2nd Edition）第二版出了，目前还没有中文版，这版的代码适用于Python 3.6 。 PDF下载（英文）：htt

2018-04-24

9710

《利用Python进行数据分析·第2版》第2章 Python语法基础，IPython和Jupyter Notebooks2.1 Python解释器2.2 IPython基础2.3 Python语法基础

python 数据分析

当我在2011年和2012年写作本书的第一版时，可用的学习Python数据分析的资源很少。这部分上是一个鸡和蛋的问题：我们现在使用的库，比如pandas、scikit-learn和statsmodels，那时相对来说并不成熟。2017年，数据科学、数据分析和机器学习的资源已经很多，原来通用的科学计算拓展到了计算机科学家、物理学家和其它研究领域的工作人员。学习Python和成为软件工程师的优秀书籍也有了。因为这本书是专注于Python数据处理的，对于一些Python的数据结构和库的特性难免不足。因此，本章和

2018-04-24

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态