数据分析从零开始实战 | 基础篇(四)

        A URL, a file-like object, or a raw string containing HTML. Note that
        lxml only accepts the http, ftp and file url protocols. If you have a
        URL that starts with ``'https'`` you might try removing the ``'s'``.

    数据地址（网页地址、包含HTML的文件地址或者字符串）。
    注意lxml只接受HTTP、FTP和文件URL协议。
    如果你有以“https”开头的URL，你可以尝试删除“s”再传入参数。

        str or compiled regular expression, optional
        The set of tables containing text matching this regex or string will be
        returned. Unless the HTML is extremely simple you will probably need to
        pass a non-empty string here. Defaults to '.+' (match any non-empty
        string). The default value will return all tables contained on a page.
        This value is converted to a regular expression so that there is
        consistent behavior between Beautiful Soup and lxml.

    字符串或编译的正则表达式，可选
    包含与此正则表达式或字符串匹配的文本的一组表将返回。
    除非HTML非常简单，否则您可能需要在此处传递一个非空字符串。
    默认为“.+”（匹配任何非空字符串）。默认值将返回页面上包含的所有<table>标签包含的表格。
    该值将转换为正则表达式，以便Beautiful Soup和LXML之间一致。

        flavor : str or None, container of strings
        The parsing engine to use. 'bs4' and 'html5lib' are synonymous with
        each other, they are both there for backwards compatibility. The
        default of ``None`` tries to use ``lxml`` to parse and if that fails it
        falls back on ``bs4`` + ``html5lib``.

    要使用的解析引擎。'bs4'和'html5lib'是彼此的同义词，
    它们都是为了向后兼容。默认为空，尝试用于lxml解析的默认值，
    如果失败，则使用bs4和 html5lib。

# 处理列名
import re
# 匹配字符串中任意空白字符的正则表达式
space = re.compile(r"\s+")

def fix_string_spaces(columnsToFix):
    '''
        将列名中的空白字符转变成下划线
    '''
    tempColumnNames = []   # 保存处理后的列名
    # 循环处理所有列
    for item in columnsToFix:
        # 匹配到
        if space.search(item):
            # 处理并加入列表
            tempColumnNames.append('_'.join((space.split(item))))
            '''
            这句有点长涉及到列表的一些操作，我解释一下
            str1.split(str2) str1 表示被分隔的字符串；str2表示分隔字符串
            str3.join(list1) str2 表示按什么字符串进行连接；list1表示待连接的列表
            list2.append(str4) 表示在列表list2的末尾添加str4这个元素
            '''
        else :
            # 否则直接加入列表
            tempColumnNames.append(item)
    return tempColumnNames

         axis : {0 or 'index', 1 or 'columns'}, default 0
            Determine if rows or columns which contain missing values are removed.
            * 0, or 'index' : Drop rows which contain missing values.
            * 1, or 'columns' : Drop columns which contain missing value.
            .. deprecated:: 0.23.0: Pass tuple or list to drop on multiple axes.

    少用，默认值为0，表示删除包含缺少值的行；值为1，表示删除包含缺少值的列。

        how : {'any', 'all'}, default 'any'
            Determine if row or column is removed from DataFrame, when we have at least one NA or all NA.
            * 'any' : If any NA values are present, drop that row or column.
            * 'all' : If all values are NA, drop that row or column.

    默认值为any，表示如果存在任何NA（空）值，则删除该行或列；
    值为all，表示如果全都是NA值，则删除该行或列。

        thresh : int, optional
            Require that many non-NA values.

    不为NA的个数，满足要求的行保留，不满足的行被删除。

        inplace : bool, default False
            If True, do operation inplace and return None.

    默认为False，表示不在原对象上操作，
    而是复制一个新的对象进行操作并返回；
    值为True时，表示直接在原对象上进行操作。

    value : scalar, dict, Series, or DataFrame
            Value to use to fill holes (e.g. 0), alternately a
            dict/Series/DataFrame of values specifying which value to use for
            each index (for a Series) or column (for a DataFrame). (values not
            in the dict/Series/DataFrame will not be filled). This value cannot
            be a list.

简单点说，就是替换NA（空值）的值。如果是直接给值，表示全部替换；
如果是字典： {列名:替换值}  表示替换掉该列包含的所有空值。

    method : {'backfill', 'bfill', 'pad', 'ffill', None}, default None
            Method to use for filling holes in reindexed Series
            pad / ffill: propagate last valid observation forward to next valid
            backfill / bfill: use NEXT valid observation to fill gap

在重新索引系列中填充空白值的方法。
pad / ffill：按列检索，将最后一次不为空的值赋给下一个空值。
backfill / bfill：按列检索，将下一个不为空的值赋给该空值。
注意：该参数不可与value 同时存在

limit : int, default None
            If method is specified, this is the maximum number of consecutive.
            NaN values to forward/backward fill. In other words, if there is a gap 
            with more than this number of consecutive NaNs, it will only be partially
             filled. If method is not specified, this is the maximum number of entries
              along the entire axis where NaNs will be filled. Must be greater than 0 if not None.

其实很简单，就是按列搜索空值，然后limit的值表示最大的连续填充空值个数。
比如：limit=2,表示一列中从上到下搜索，只替换前两个空值，后面都不替换。

import pandas as pd

# 排行榜
for i in range(15):
    # 页面地址
    url = "https://www.phb123.com/renwu/fuhao/shishi_%d.html" % (i+1)
    # 调用read_html函数，解析页面获取数据 List
    url_read = pd.read_html(url, header=0)[0]
    # 将数据存入csv文件
    url_read.to_csv(r'rich_list.csv', mode='a', encoding='utf_8_sig', header=0, index=False)

import pandas as pd

# 原始数据文件路径
rpath_csv = 'rich_list.csv'
# 读取数据
csv_read = pd.read_csv(rpath_csv)
# 提取出来的数据是pandans的Series对象
# 后期处理可以直接转换成列表
name_list = csv_read["名字"]
money_list = csv_read["财富(10亿美元)"]
company_list = csv_read["财富来源"]
country_list = csv_read["国家/地区"]

    pip install pyecharts

# 排行榜上各个国家的人数各多少？那些国家最多？
"""
1、统计数据
利用collections模块的Counter函数
"""
country_list = list(country_list)
from collections import Counter
dict_number = Counter(country_list)

"""
2、数据可视化
利用pyecharts模块的Bar类
"""
bar = Bar("富豪国家分布柱状图")
bar.add("富豪", key_list, values_list, is_more_utils=True, is_datazoom_show=True,
        xaxis_interval=0, xaxis_rotate=30, yaxis_rotate=30, mark_line=["average"], mark_point=["max", "min"])
bar.render("rich_country.html")