python模块的name属性 一个模块被另一个程序第一次引入时，其主程序将运行。 1、如果想在模块被引入时，模块中的某一程序块不执行，可以用name属性来使该程序块仅在该模块自身运行时执行。...2、每个模块都有一个name属性，当其值是'main'时，表明该模块自身在运行，否则是被引入。 说明：*name* 与 *main* 底下是双下划线， _ _ 是这样去掉中间的那个空格。 实例 #!.../usr/bin/env python # -*- coding:utf-8 -*- # author: xulinjie time:2017/10/13 def main(): if __name..._) 以上就是python模块的name属性，希望对大家有所帮助。...更多Python学习指路：python基础教程
一、模块的搜索顺序1》Python解释器在导入模块时，对模块文件的搜索顺序：搜索顺序：搜索当前目录指定模块名的文件，如果有就直接接导入如果没有，就会到系统目录搜索指定模块名的文件提醒：在开发时给文件起名...文件和模块同名报错验证：新建一个random.py文件和模块同名，可以看出PyCharm也给我们提示了（randinth函数有个灰色底纹），此时再来运行文件，报错2》 模块内置属性__file__Python...中，每一个模块都有一个内置属性__file__，这个内置属性可以查看模块的完整路径。...python文件就是一个模块在导入文件时，文件中所有没有任何缩进的代码都会被执行一遍代码验证：文件中所有没有任何缩进的代码都会被执行一遍md_模块文件代码：print("小夏开发的模块文件")md_测试导入文件代码...__name__是python的一个内置属性，记录着一个字符串（保存的是一个字符串）如果是被其他文件导入的，__name__就是模块名如果是当前执行的程序，__name__是__main__（永远是固定的
可能是因为网络带宽或是访问限制的问题，在第一个网址无法正常获取安装包，通过镜像网站可以轻松解决以上问题
警告 + 建议使用 conda 安装 pyarrow，因为 pyarrow 存在一些问题。 + `to_orc()`需要 pyarrow>=7.0.0。...In [634]: df.to_orc("example_pa.orc", engine="pyarrow") 从 orc 文件中读取。...读取器对象还具有包含有关文件及其变量的其他信息的属性。...engine{'c', 'python', 'pyarrow'} 要使用的解析引擎。C 和 pyarrow 引擎更快，而 python 引擎目前更完整。目前只有 pyarrow 引擎支持多线程。...但是，与 C 引擎相比，pyarrow 引擎要不那么稳定，缺少一些与 Python 引擎相比的功能。
如果 pyarrow 是从 pypi 安装的，可能会导致 read_orc() 失败，并且 read_orc() 与 Windows 操作系统不兼容。...import sys sys.path 您可能遇到此错误的一种方式是，如果您的系统上有多个 Python 安装，并且您当前使用的 Python 安装中没有安装 pandas。...如果从 pypi 安装了 pyarrow，read_orc() 可能会失败，并且 read_orc() 不兼容 Windows 操作系统。...如果使用 pypi 安装了 pyarrow，可能会导致 read_orc() 失败，并且 read_orc() 不兼容 Windows 操作系统。...如果从 pypi 安装了 pyarrow，read_orc() 可能会失败，并且 read_orc() 不兼容 Windows 操作系统。
注意 Python 和 NumPy 索引运算符 [] 和属性运算符 . 提供了对 pandas 数据结构的快速简便访问，适用于各种用例。...如果属性与现有方法名称冲突，则该属性将不可用，例如s.min是不允许的，但s['min']是可能的。...类似地，如果属性与以下列表中的任何一个冲突，则该属性将不可用：index，major_axis，minor_axis，items。...中进行评估，因为numexpr没有此操作的等效操作。...从索引派生的列的名称存储在names属性中。
前面章节提到，当指定模块（或包）没有说明文档时，仅通过 help() 函数或者 __doc__ 属性，无法有效帮助我们理解该模块（包）的具体功能。...在这种情况下，我们可以通过 __file__ 属性查找该模块（或包）文件所在的具体存储位置，直接查看其源代码。...仍以前面章节创建的 my_package 包为例，下面代码尝试使用 __file__ 属性获取该包的存储路径： import my_package print(my_package....__file__) 程序输出结果为： D:\python3.6\lib\string.py 由此，通过调用 __file__ 属性输出的绝对路径，我们可以很轻易地找到该模块（或包）的源文件。...注意，并不是所有模块都提供 __file__ 属性，因为并不是所有模块的实现都采用 Python 语言，有些模块采用的是其它编程语言（如 C 语言）。
众所周知，Python是一种动态类型语言，也是强类型语言。在Python语言中，使用变量之前不需要声明其类型，直接赋值即可创建变量，变量初始类型取决于等号右侧表达式的值的类型。...在Python中，函数会维护一个特殊属性__annotations__，这是一个字典，其中的“键”是被注解的形参名，“值”为注解的内容。使用时并不要求注解的内容是Python中的类型，可以是任意内容。...Python函数有若干特殊属性，常用的几个如下图箭头所示，倒数第二个为__annotations__， ?...另外，在模块中也有个特殊属性__annotations__用于收集模块中变量的注解，但这些注解同样也不会创建对应的变量。例如，在下面的代码中，并没有创建变量e、f、g。 ?...Python官方文档对于模块特殊属性__annotations__的解释如下： ? 启动IDLE时，默认进入交互模式，是一个叫做__main__的命名空间，官方文档解释如下： ?
从本质上讲，Arrow 是一种标准化的内存中列式数据格式，具有适用于多种编程语言（C、C++、R、Python 等）的可用库。...对于Python，有PyArrow，它基于Arrow的C++实现，因此速度很快！...以下是使用Hacker News数据集（大约650 MB）读取没有pyarrow后端的数据与使用pyarrow后端读取数据之间的比较（许可证CC BY-NC-SA 4.0）： %timeit df =...其他值得指出的方面： 如果没有 pyarrow 后端，每个列/特征都存储为自己的唯一数据类型：数字特征存储为 int64 或 float64，而字符串值存储为对象； 使用 pyarrow，所有功能都使用...同样，使用 pyarrow 引擎读取数据肯定更好，尽管创建数据配置文件在速度方面没有显著改变。 然而，差异可能取决于内存效率，为此我们必须进行不同的分析。
格式 read_orc to_orc 二进制 Stata read_stata to_stata 二进制 SAS read_sas 二进制 SPSS read_spss 二进制 Python Pickle...engine{'c', 'python', 'pyarrow'} 使用的解析引擎。C 和 pyarrow 引擎速度更快，而 python 引擎目前功能更完整。...但是，pyarrow 引擎比 C 引擎要脆弱得多，与 Python 引擎相比，缺少一些功能。...该模块是 Rust 库 calamine 的绑定，大多数情况下比其他引擎更快。需要安装可选依赖python-calamine。...## Pickling 所有 pandas 对象都配备有to_pickle方法，使用 Python 的cPickle模块将数据结构保存到磁盘使用 pickle 格式。
dir(PyHook3)，用来查看库的属性。...__file__', '__loader__', ' __name__', '__package__', '__path__', '__spec__', 'cpyHook'] 通过 __file__ 属性可以查看模块所属的位置...查看 python 库的用法： 查看具体方法的源码：
对于直接使用 RDD 的计算，或者没有开启 spark.sql.execution.arrow.enabled 的 DataFrame，是将输入数据按行发送给 Python，可想而知，这样效率极低。...stream): import pyarrow as pa writer = None try: for batch in iterator:...if writer is not None: writer.close() def load_stream(self, stream): import pyarrow...= pa.ipc.open_stream(stream) for batch in reader: yield batch 可以看到，这里双向的序列化、反序列化，都是调用了 PyArrow...pandas.Series. """ batches = super(ArrowStreamPandasSerializer, self).load_stream(stream) import pyarrow
，也就是嵌套类型； hobby_name属于hobbies中元素的属性，必须有一个，类型为string； home_page属于hobbies中元素的属性，可以有一个也可以没有，类型为string；...Repetition level和Definition level是很重要的，这二者都存放于Row group的元数据中； 高效压缩：注意到每个Column都有一个type元数据，那么压缩算法可以通过这个属性来进行对应压缩...，另外元数据中的额外k/v对可以用于存放对应列的统计信息； Python导入导出Parquet格式文件 最后给出Python使用Pandas和pyspark两种方式对Parquet文件的操作Demo吧，...') 上述代码需要注意的是要单独安装pyarrow库，否则会报错，pandas是基于pyarrow对parquet进行支持的； PS：这里没有安装pyarrow，也没有指定engine的话，报错信息中说可以安装...，pyarrow就可以。。。。
基础镜像 ---- 基础镜像就是类似Anaconda Notebook，但我们没有选择Anaconda Notebook的官方镜像作为基础镜像，而是基于tensorflow的官方镜像进行构建： FROM...可视化分析 # FeatureSelector是用于降低机器学习数据集的维数的工具 # pydotplus, graphviz: 可视化决策树时需要用到 # PrettyTable模块可以将输出内容如表格方式整齐地输出...# pyarrow fastparquet: pandas的parquet需要依赖于这两个包 RUN apt-get update -y \ && apt-get install -y \...libglib2.0-0 \ libsm6 \ libxrender1 \ python3-pydot \ python3-pygraphviz...pyarrow fastparquet \ && rm -rf /var/lib/apt/lists/* 解决matplotlib的中文乱码问题： ENV matplotlibrc
SparkSQL相当于Apache Spark的一个模块，在DataFrame API的帮助下可用来处理非结构化数据。...因为只是使用Python，仅需点击“Notebook”模块中的“Launch”按钮。 Anaconda导航主页 为了能在Anaconda中使用Spark，请遵循以下软件包安装步骤。...第三步：在Anaconda Prompt终端中输入“conda install pyarrow”并回车来安装PyArrow包。...当PySpark和PyArrow包安装完成后，仅需关闭终端，回到Jupyter Notebook，并在你代码的最顶部导入要求的包。...5.1、“Select”操作 可以通过属性（“author”）或索引（dataframe[‘author’]）来获取列。
org.apache.spark.sql.hive.*") java_import(gateway.jvm, "scala.Tuple2") 拿到 JavaGateway 对象，即可以通过它的 jvm 属性...对于直接使用 RDD 的计算，或者没有开启 spark.sql.execution.arrow.enabled 的 DataFrame，是将输入数据按行发送给 Python，可想而知，这样效率极低。...stream): import pyarrow as pa writer = None try: for batch in iterator:...if writer is not None: writer.close() def load_stream(self, stream): import pyarrow...= pa.ipc.open_stream(stream) for batch in reader: yield batch 可以看到，这里双向的序列化、反序列化，都是调用了 PyArrow
依赖于快速 PyArrow mongo2file 依赖于 PyArrow 库。它是 C++ Arrow 的 Python 版本实现。...PyArrow 目前与 Python 3.7、3.8、3.9 和 3.10 兼容。...警告: PyArrow 目前只支持到 win64 位 ( Python 64bit ) 操作系统。...当没有多线程(当然这里的多线程并不是对同一文件进行并行操作，文件写入往往是线程不安全的)、 数据表查询语句无优化时，并且当数据达到一定量级时(比如 100w 行)，单表单线程表现出来的效果真是让人窒息。...在 mongo2file 在进行大数据量导出时表现的并没有多么优秀。导致的主要原因可能是: 采用的 xlsxwriter 库写入 excel 时是积极加载(非惰性)的，数据全部加载至内存后插入表格。
执行import sys; print(sys.path)查看python搜索路径，确保自己的模块在python搜索路径中 python的搜索路径与包（package） python的搜索路径其实是一个列表...，它是指导入模块时，python会自动去找搜索这个列表当中的路径，如果路径中存在要导入的模块文件则导入成功，否则导入失败： >>> import sys >>> sys.path ['', 'C:\\Python33..., 'C:\\Python33\\Lib\\idlelib', 'C:\\Windows\\system32\\python33.zip', 'C:\\Python33\\DLLs', 'C:\\Python33...\\lib', 'C:\\Python33', 'C:\\Python33\\lib\\site-packages', 'E:\\python'] >>> 当安装第三方模块的时候，如果不是按照标准方式安装...，则为了能够引用（import）这些模块，必须将这些模块的安装路径添加到sys.path中，有以下几种方法： 最简单的方法：是在sys.path的某个目录下添加路径配置文件，最常见的就是在…/site-package
01：ODS层构建：代码结构及修改 目标：了解整个自动化代码的项目结构及实现配置修改 路径 step1：工程代码结构 step2：代码模块功能 step3：代码配置修改 实施 工程代码结构... 代码模块功能 auto_create_hive_table：用于实现ODS层与DWD层的建库建表的代码 cn.itcast datatohive CHiveTableFromOracleTable.py...到DWD层表中 - fileformat - AvroTableProperties.py：Avro文件格式对象，用于封装Avro建表时的字符串 - OrcTableProperties.py：Orc...文件格式对象，用于封装Orc建表时的字符串 - OrcSnappyTableProperties.py：Orc文件格式加Snappy压缩的对象 - TableProperties.py：用于获取表的属性的类...\\meta_data\\tablenames.txt") 修改2：auto_create_hive_table.cn.itcast.utils.ConfigLoader # 10行：修改为实际的连接属性配置文件的地址
Hive表压缩功能 除了直接配置MapReduce压缩功能外，Hive的ORC表和Parquet表直接支持表的压缩属性。 ?...ORC表压缩 ORC表的压缩，需要通过表属性orc.compress来指定。orc.compress的值可以为NONE、ZLIB、SNAPPY，默认为ZLIB。...数据量较小，大小没有发生变化。...在小数据量情况下，大小依然没有发生变化。虽然小数据量的参考意义不大，但基本能看出来，Parquet各压缩方式之间还是比较稳定的，而且整体要比ORC的压缩率要低。...全局压缩配置 除了在建表时手动指定ORC、Parquet表的压缩格式的属性之外，也可以在执行建表语句前，使用set命令进行指定。
领取专属 10元无门槛券
手把手带您无忧上云
