论文 Structural Entropy Guided Incremental Learning for Open-World Multimodal Social Event Detection(AAAI 2026)的代码与固定数据划分,支持 NED 时间流增量检测和 CrisisMMD 闭集检测。
无需下载模型即可使用本仓库的数据划分:
数据包附带独立的 prepare_data.py,仅依赖 Python 标准库;只使用划分和增强文本时,无需安装 PyTorch 或下载模型。
仓库提供以下固定顺序清单,每行包含 order,sample_id:
splits/
NED/
M_0.csv M_1.csv M_2.csv M_3.csv
M_4.csv M_5.csv M_6.csv M_7.csv
CrisisMMD/
train.csv val.csv test.csv
NED 共 16,955 条、40 个互斥事件。M0 为 2011、2013、2014 年的初始块,M1–M7 分别对应 2015–2021 年。CrisisMMD 按帖子保留首张图片,得到 16,058 条,按事件分层划分为 train/val/test:11,238/1,603/3,217。
data/NED.csv 与 data/CrisisMMD.csv 公开 sample_id,caption,theme,type。表头中的 text,image_name,time,label,tags 留空,原始图文须自行向数据提供方取得。ID 算法与 LFEvent 一致,可复用相同格式的本地原始字段 CSV。
git clone https://github.com/yzw66/SeInEvent.git
cd SeInEvent
conda create -n seinevent python=3.10 -y
conda activate seinevent
pip install -r requirements.txt
# 下载文本编码器;训练从本机缓存读取
HF_HUB_OFFLINE=0 TRANSFORMERS_OFFLINE=0 python download_models.py --models text文本编码器为冻结的 sentence-transformers/all-MiniLM-L12-v2。已有缓存时可用 python download_models.py --models text --offline 检查。
将授权取得的原始字段转换为 UTF-8 CSV,保存到:
data/local/NED.csv
data/local/CrisisMMD.csv
本地 CSV 至少包含 text,image_name,time,label。字段格式、事件编号和时间规则见 data/README.md。CrisisMMD 可以提供全部 18,082 个图文对,脚本会按固定 ID 清单选出首图对应的 16,058 条帖子。
python prepare_data.py --raw-dir data/local脚本按内容 ID 合并公开增强文本,保留清单顺序,生成:
data/prepared/
NED/
data.csv
M_0.csv ... M_7.csv
CrisisMMD/
data.csv
train.csv val.csv test.csv
不会重新随机分割;缺少样本、ID 重复、清单重叠、年份或事件不符时会报错。默认不覆盖不同内容的已有输出,确需覆盖时使用 --overwrite。公开文件与本地输入均不会被改写。
训练读取整图 768 维 CLIP 全局特征,保存为 .pt。图片和特征的目录结构为:
data/Event_data/
NED/Images/E1/*.jpg *.pt
E2/*.jpg *.pt
...
MMD/Images/<事件>/<日期>/*.jpg *.pt
- NED:
label=0,image_name=a.jpg对应NED/Images/E1/a.pt。 - CrisisMMD:去掉
image_name开头的data_image/,保留事件和日期路径,将图片后缀改为.pt。
从原图提取特征:
HF_HUB_OFFLINE=0 TRANSFORMERS_OFFLINE=0 python download_models.py --models image
python extract_image_features.py提取器默认使用 openai/clip-vit-large-patch14、224 输入尺寸、PIL 预处理和 float32,保存视觉投影后的 image_embeds,不做额外归一化。已有 .pt 默认跳过,重新提取需传 --overwrite。实际提取配置记录在生成目录的 feature_extraction.json。不同视觉模型与预处理设置的特征应分别报告。
# 只提取 NED;已有模型缓存时不访问网络
python extract_image_features.py --datasets NED --batch-size 16 --local-files-only默认按每阶段训练总 loss 最低选择 checkpoint,完全并列取较晚一轮。先完成该阶段全部训练,再选择模型,后续检测、PSE 筛选、教师与优化器均沿同一条轨迹继续;选模不读取下一块测试标签。
# 两个数据集,默认 seed=230
python train.py --output runs
# 单独训练
python train.py --datasets NED --output runs_ned
python train.py --datasets CrisisMMD --output runs_crisis
# 多个种子依次运行
python train.py --seeds 230 231 232 233 234 --output runs_five
# 相同数据、源码和配置下继续
python train.py --output runs --resume初始训练为 50 epochs、batch=64;增量训练为 30 epochs、batch=128。SGD:lr=0.01、momentum=0.9、weight_decay=1e-4;beta=mu=0.5,不增加梯度裁剪或调度器。增量 batch 一半用于新知识学习,一半用于教师蒸馏。
| 配置 | NED 默认值 | CrisisMMD 默认值 |
|---|---|---|
| 融合 α | sigmoid 约束在 (0,1) | 直接可学习参数,初始 0.5 |
| 冻结文本编码器的训练模式 | eval,关闭 Dropout | train,保留 Dropout |
| 训练行序 | 每阶段固定种子的逐轮打乱 | 准备后的固定混排行序 |
| 增量学生 | 每阶段按种子重新初始化 | 不适用 |
| 优化器动量 | 继承上一阶段选中状态 | 同一训练持续更新 |
| 浮点矩阵乘精度 | 完整 FP32(highest) | high |
| 模型选择 | 训练 loss 最低 | 训练 loss 最低 |
CrisisMMD 默认按测试真实事件标签稳定排序,每 64 条组成融合 batch,该结果属于标签分组诊断。固定混排测试使用:
python train.py --datasets CrisisMMD --crisis-test-order fixed --output runs_crisis_fixed全局图文注意力矩阵为 [B,B],特征依赖同一 batch 中的帖子。NED 源 CSV 已按事件成段排列;保持公开清单顺序和评测 batch=64,改变 batch 组成会改变特征与检测结果。
可选 checkpoint 对照:
python train.py --datasets NED --ned-selection last --output runs_ned_last
# 使用下一块测试标签选模型,结果单独解释
python train.py --datasets NED --ned-selection next_best --output runs_ned_next_best
# CrisisMMD 使用独立混排验证集选模型
python train.py --datasets CrisisMMD --crisis-selection validation_best --output runs_crisis_val--preset main 提供直接 α、冻结编码器训练 Dropout 开启、增量学生继承权重的对照参数;其默认 NED 分别运行 last/next_best,CrisisMMD 按验证集选择。各次完整配置写入输出目录的 protocol.json。
python evaluate.py \
--checkpoint runs/seed_230/NED/shared_M0/best_loss.pth \
--dataset NED --csv data/prepared/NED/M_1.csv --output eval_ned_m1
python evaluate.py \
--checkpoint runs/seed_230/CrisisMMD/train/best_loss.pth \
--dataset CrisisMMD --csv data/prepared/CrisisMMD/test.csv --output eval_crisis
# 同一模型保留测试 CSV 的固定混排顺序
python evaluate.py \
--checkpoint runs/seed_230/CrisisMMD/train/best_loss.pth \
--dataset CrisisMMD --csv data/prepared/CrisisMMD/test.csv \
--input-order fixed --output eval_crisis_fixed评测默认读取 checkpoint 中的模型配置、精度和测试顺序,输出 ARI/NMI/AMI,以及特征、预测、图、Ward 树和二维结构熵曲线。图采用 Pearson 1NN、共享 hashtag/@mention 连边和正余弦边权,在所有 Ward 切分中选最小二维结构熵;增量阶段按 PSE 逐簇过滤噪声。
checkpoint 仅保存训练头,引用同一 seed 目录的 frozen_encoder.pth。迁移时保留冻结编码器及相对位置。汇总结果位于输出根目录的 results.csv 和 summary.csv。参考运行结果
# 不需要模型、图片或原始文本
python -m unittest discover -s tests -v
# 已准备完整数据与特征后,用少量样本检查流程;不计入性能
python train.py --datasets NED --smoke --output runs_smokeprepare_data.py:按固定 ID 恢复数据块和闭集划分。download_models.py/extract_image_features.py:准备编码器和整图特征。train.py/evaluate.py:训练与独立检测入口。seinevent/model.py:双向图文注意力、投影器、预测器与损失。seinevent/engine.py:训练、选模、教师更新与结果保存。seinevent/clustering.py/noise.py:结构熵聚类与 PSE 筛选。
@article{yang2026seinevent,
title={Structural Entropy Guided Incremental Learning for Open-World Multimodal Social Event Detection},
author={Yang, Zhiwei and Qin, Haimei and Yu, Xiaoyan and Peng, Hao and Jiang, Lei and Sun, Li and Yang, Zhiqin},
journal={Proceedings of the AAAI Conference on Artificial Intelligence},
volume={40}, number={19}, pages={16119--16127}, year={2026},
doi={10.1609/aaai.v40i19.38647}
}代码采用 MIT License。原始数据和预训练模型遵循各自条款,见 数据使用说明。