Python实用工具：Pandas Summary库深度解析与实战指南

# 通过PyPI安装稳定版
pip install pandas-summary

# 或从GitHub获取最新开发版
pip install git+https://github.com/pandas-summary/pandas-summary.git

import pandas as pd
from pandas_summary import SummaryAnalyzer

# 加载数据
data = pd.read_csv("student_scores.csv")
analyzer = SummaryAnalyzer(data)

# 生成全局统计报告（默认包含所有数值型列）
global_summary = analyzer.global_summary()
print("全局统计报告：")
print(global_summary)

# 定义自定义函数：计算及格率
def pass_rate(series):
    return (series >= 60).mean() * 100  # 转换为百分比

# 配置自定义汇总规则（字典形式：列名→函数列表）
custom_rules = {
    "数学": ["mean", "median", pass_rate],  # 使用内置函数+自定义函数
    "英语": [lambda x: x.max() - x.min()],  # 匿名函数计算极差
    "语文": pd.Series.mode  # 直接引用Pandas函数
}

# 生成自定义汇总报告
custom_summary = analyzer.custom_summary(custom_rules)
print("\n自定义统计报告：")
print(custom_summary)

# 按"性别"分组，对数值型列应用自定义函数
grouped_rules = {
    "数学": ["mean", pass_rate],
    "英语": ["mean", pass_rate],
    "语文": ["mean", pass_rate]
}

# 执行分组汇总（返回DataFrame格式结果）
group_summary = analyzer.group_summary(
    group_by="性别",  # 分组列
    aggregation_rules=grouped_rules
)
print("\n分组统计报告：")
print(group_summary)

# 数据清洗函数：过滤异常值
def clean_data(df):
    return df[df["数学"] >= 30]  # 保留数学成绩≥30的记录

# 创建带清洗逻辑的分析器
clean_analyzer = SummaryAnalyzer(data, preprocess=clean_data)

# 生成清洗后的统计报告
clean_summary = clean_analyzer.global_summary()
print("\n清洗后全局统计：")
print(clean_summary.loc["数学"])  # 仅查看数学列结果

# 将分组汇总结果保存为Excel文件
group_summary.to_excel("gender_score_summary.xlsx", index=False)
print("\n报告已保存至gender_score_summary.xlsx")

from pandas_summary import ReportGenerator

# 创建报告生成器
report = ReportGenerator(group_summary, title="学生成绩分组分析报告")

# 添加样式（自定义CSS）
report.add_style("""
.table {
    border-collapse: collapse;
    width: 80%;
    margin: 20px auto;
}
th, td {
    border: 1px solid #ddd;
    padding: 12px;
    text-align: left;
}
th {
    background-color: #f5f5f5;
}
""")

# 生成HTML文件
report.save_html("score_report.html")
print("HTML报告已生成，可在浏览器中打开查看")

# 加载销售数据（假设数据文件为sales_data.csv）
sales = pd.read_csv("sales_data.csv", parse_dates=["订单时间"])

# 数据清洗：
# 1. 剔除缺失值
sales = sales.dropna(subset=["商品品类", "销售额", "地区"])
# 2. 过滤异常销售额（假设销售额≥0）
sales = sales[sales["销售额"] >= 0]
# 3. 提取季度数据（2023年Q3）
q3_sales = sales[sales["订单时间"].dt.to_period("Q3") == "2023Q3"]

analyzer = SummaryAnalyzer(q3_sales)

# 自定义统计规则：计算均值、中位数、前3大销售额
category_rules = {
    "销售额": [
        "mean",
        "median",
        lambda x: x.nlargest(3).tolist()  # 取前三值
    ]
}

category_summary = analyzer.group_summary(
    group_by="商品品类",
    aggregation_rules=category_rules
).sort_values(by="销售额_mean", ascending=False)  # 按均值降序排列

print("\n各品类销售额统计：")
print(category_summary.head())  # 查看前5个品类

# 定义复合统计函数：同时计算订单量和平均客单价
def order_metrics(group):
    return {
        "订单量": len(group),
        "平均客单价": group["销售额"].mean()
    }

# 使用apply方法执行自定义分组聚合
region_summary = q3_sales.groupby("地区").apply(order_metrics).reset_index()
region_summary = region_summary.rename(columns={"level_1": "指标"})  # 调整列名

# 转换为透视表格式
region_pivot = region_summary.pivot_table(
    index="地区",
    columns="指标",
    values="订单量平均客单价"
)
print("\n各地区销售指标：")
print(region_pivot.head())

# 合并品类与地区分析结果
final_report = pd.concat([category_summary, region_pivot], axis=1, keys=["品类分析", "地区分析"])

# 导出为带图表的Excel报告（需安装openpyxl库）
with pd.ExcelWriter("q3_sales_report.xlsx", engine="openpyxl") as writer:
    final_report.to_excel(writer, sheet_name="数据汇总")

    # 添加销售额分布柱状图
    ax = q3_sales["销售额"].plot(kind="hist", bins=20, title="销售额分布直方图")
    fig = ax.get_figure()
    fig.savefig(writer, sheet_name="图表", index=False)

print("\n完整分析报告已生成，包含数据汇总与可视化图表")