03 / DATA CLEANING

整理清洗

从原始数据到可用、规范、结构化的数据资产

通过不同类型的真实项目，展示数据清洗、规范整理和结构化处理。

DATA CLEANING PROJECTS

清洗项目

PROJECT 01 / E-COMMERCE REVIEW CLEANING电商客户评价数据清洗已完成 / 可复现实验

商业矩阵 · 清洗摘要

原始评价50条
清洗后50条
业务品类9类
+ 查看详细− 收起详细

情绪标签

非负面
39条
弱负面
3条
强负面
8条

自动分流结果

售后
1类
VIP 运营
2类
自动化
3类
常规监测
3类

标签由关键词规则生成；“非负面”不等同于“满意”。业务分流统计单位为品类，不是客户人数。

数据来源：本地 business_matrix_rebuild 恢复版于 2026-09-22 运行生成的清洗结果与业务分流 CSV（批次 20260922_094028）。本页展示已核验的静态汇总，不公开客户联系方式。

品类风险矩阵

真实品类风险矩阵备用图
PROJECT 02 / TRAFFIC IMAGE CLEANING交通图像数据清洗已完成清洗检查 / 待补标注与复核

交通图像 · 清洗摘要

原始图片85张
标准化图片85张
XML 标注65个
待补标注20张
+ 查看详细− 收起详细

数据格式整理

JPG
81张
JPEG
1张
WebP
2张
PNG
1张
整理后
85 张统一 JPG
目标框
1166个
目标类别
6类

目标类别

person
777个
car
251个
traffic_light
101个
bicycle
30个
bus
4个
motorcycle
3个

清洗检查

XML 引用图片缺失
0
文件名主体不匹配
0
尺寸不一致
0
空标注
0
无效框
0
越界框
0

待人工复核

极小框
27个

宽或高小于 20px；尚待人工复核，不直接判定为错误框。

标签格式待规范

person 尾部换行
5个
traffic_light 尾部换行
5个
合计
10个

20 张图片尚无 XML，属于待补标注。类别计数按规范化名称汇总，原始标签未改写。

  • 图片格式统一
  • XML 解析
  • 图片/XML 配对
  • 尺寸一致性检查
  • 标签规范检查
  • 框坐标检查
  • 极小框筛查

代表性图片 · 第 1 组

交通场景展示：pedestrian_011
pedestrian_011
交通场景展示：pedestrian_065
pedestrian_065

代表性图片 · 第 2 组

交通场景展示：pedestrian_012
pedestrian_012
交通场景展示：pedestrian_053
pedestrian_053

数据来源：现有交通 03 清洗展示资产包的 cleaning_summary.json 与 cleaning_notes.md；本页仅展示既有统计及展示副本。

PROJECT 03 / APPLE IMAGE CLEANING苹果图像数据清洗已整理 / 可复现实验

苹果图像 · 清洗摘要

原始图片8张
JSON 标注8个
有效标注框68个
空标注1个
+ 查看详细− 收起详细

代表性原始图片

烂坏样张

烂坏样张

成熟样张

成熟样张

数据整理内容

  • JSON 标注解析
  • 图片路径整理
  • 标注框结构化
  • ROI 特征提取
  • 空标注检查
  • 异常样本检查

清洗结果

清洗结果摘要图

结构化数据样例

标注框结构
boxes_display.csv · 68 行
+ 查看记录− 收起记录
imagelabelx_miny_minx_maxy_max
1.jpeg烂坏034112152
3.jpg烂坏36312307471638
3.jpg成熟17921268472670
6.jpg成熟43939412921238
8.jpeg未熟157275423511
ROI 颜色特征
roi_features_display.csv · 68 行
+ 查看记录− 收起记录
imagelabelbrightnessRG_ratioRB_ratio
1.jpeg烂坏119.85011.23871.3741
3.jpg烂坏117.23451.56372.2631
3.jpg成熟141.85561.38841.6710
6.jpg成熟120.21341.88692.1961
8.jpeg未熟128.26731.19282.2618

下一阶段：标注训练

以清洗后的结构化数据与规则标签，衔接后续标注训练。