五城房产市场分析项目-Python

# 五城房产市场分析项目
项目描述 基于北京、上海、广州、深圳、杭州五个城市的二手房与租房市场数据，进行性价比分析的课程大作业。项目实现从数据采集、清洗、统计分析、数据挖掘到可视化展示的完整数据分析流水线，最终产出分析报告与交互式看板。

项目功能

– 数据采集：Scrapy 爬取房天下二手房与租房列表数据，无真实数据时自动生成 26000 条可复现的模拟数据；
– 数据清洗：字段规范化、业务规则校验、去重（哈希唯一约束），输出 20000+ 条有效主数据；
– 统计分析：描述性统计、分类频次、透视表、Pearson/Spearman 相关性、时间序列趋势分析；
– 数据挖掘：线性/多项式/随机森林回归预测单价，五种分类模型识别高溢价房源，K-Means 聚类划分城市板块，孤立森林异常检测，ARIMA 价格指数预测；
– 可视化：自动生成 24 张图（折线、柱状、饼图、散点、热力图、箱线图、直方图、QQ 图、雷达图、词云、ROC、混淆矩阵等）；
– 展示输出：Streamlit 交互式看板（指标卡、筛选联动动态图表、模型指标表）、Excel 分析报告、CSV 数据字典、MySQL 建表脚本（可选写入）。
运行环境

– 操作系统：Windows
– Python 3.10+（本机实测 3.14 可运行）
– 依赖库均为 pip 安装，无 GPU 要求；MySQL 为可选组件，不配置时自动降级为文件导出
– 启动方式：`python scripts/run_pipeline.py` 运行流水线，`python -m streamlit run app/dashboard.py` 启动看板（localhost:8501）
项目技术

– 语言与核心库：Python、pandas、numpy
– 爬虫：Scrapy（房天下列表页解析、分页、验证页跳过策略）
– 数据挖掘：scikit-learn（回归、分类、聚类、异常检测）、statsmodels（ARIMA 时序预测）
– 可视化：matplotlib、seaborn（静态图）、plotly（交互式动态图表）、jieba/wordcloud（中文分词词云）
– 展示框架：Streamlit（Web 看板、缓存、侧边栏联动筛选）
– 存储：CSV/Excel/JSON 文件导出、SQLAlchemy + pymysql（MySQL 可选）、哈希去重与数据版本批次管理

以上系统源码经过技术整理与调试，确保能正常运行