Skip to content
yzw66Public

About

Code and fixed NED/CrisisMMD splits for Structural Entropy Guided Incremental Learning for Open-World Multimodal Social Event Detection (AAAI 2026).

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

SeInEvent

论文 Structural Entropy Guided Incremental Learning for Open-World Multimodal Social Event Detection(AAAI 2026)的代码与固定数据划分,支持 NED 时间流增量检测和 CrisisMMD 闭集检测。

数据下载

无需下载模型即可使用本仓库的数据划分:

数据包附带独立的 prepare_data.py,仅依赖 Python 标准库;只使用划分和增强文本时,无需安装 PyTorch 或下载模型。

仓库提供以下固定顺序清单,每行包含 order,sample_id:

splits/
  NED/
    M_0.csv  M_1.csv  M_2.csv  M_3.csv
    M_4.csv  M_5.csv  M_6.csv  M_7.csv
  CrisisMMD/
    train.csv  val.csv  test.csv

NED 共 16,955 条、40 个互斥事件。M0 为 2011、2013、2014 年的初始块,M1–M7 分别对应 2015–2021 年。CrisisMMD 按帖子保留首张图片,得到 16,058 条,按事件分层划分为 train/val/test:11,238/1,603/3,217。

data/NED.csv 与 data/CrisisMMD.csv 公开 sample_id,caption,theme,type。表头中的 text,image_name,time,label,tags 留空,原始图文须自行向数据提供方取得。ID 算法与 LFEvent 一致,可复用相同格式的本地原始字段 CSV。

环境

git clone https://github.com/yzw66/SeInEvent.git
cd SeInEvent
conda create -n seinevent python=3.10 -y
conda activate seinevent
pip install -r requirements.txt

# 下载文本编码器;训练从本机缓存读取
HF_HUB_OFFLINE=0 TRANSFORMERS_OFFLINE=0 python download_models.py --models text

文本编码器为冻结的 sentence-transformers/all-MiniLM-L12-v2。已有缓存时可用 python download_models.py --models text --offline 检查。

准备数据

将授权取得的原始字段转换为 UTF-8 CSV,保存到:

data/local/NED.csv
data/local/CrisisMMD.csv

本地 CSV 至少包含 text,image_name,time,label。字段格式、事件编号和时间规则见 data/README.md。CrisisMMD 可以提供全部 18,082 个图文对,脚本会按固定 ID 清单选出首图对应的 16,058 条帖子。

python prepare_data.py --raw-dir data/local

脚本按内容 ID 合并公开增强文本,保留清单顺序,生成:

data/prepared/
  NED/
    data.csv
    M_0.csv ... M_7.csv
  CrisisMMD/
    data.csv
    train.csv  val.csv  test.csv

不会重新随机分割;缺少样本、ID 重复、清单重叠、年份或事件不符时会报错。默认不覆盖不同内容的已有输出,确需覆盖时使用 --overwrite。公开文件与本地输入均不会被改写。

图像特征

训练读取整图 768 维 CLIP 全局特征,保存为 .pt。图片和特征的目录结构为:

data/Event_data/
  NED/Images/E1/*.jpg  *.pt
             E2/*.jpg  *.pt
             ...
  MMD/Images/<事件>/<日期>/*.jpg  *.pt
  • NED:label=0,image_name=a.jpg 对应 NED/Images/E1/a.pt。
  • CrisisMMD:去掉 image_name 开头的 data_image/,保留事件和日期路径,将图片后缀改为 .pt。

从原图提取特征:

HF_HUB_OFFLINE=0 TRANSFORMERS_OFFLINE=0 python download_models.py --models image
python extract_image_features.py

提取器默认使用 openai/clip-vit-large-patch14、224 输入尺寸、PIL 预处理和 float32,保存视觉投影后的 image_embeds,不做额外归一化。已有 .pt 默认跳过,重新提取需传 --overwrite。实际提取配置记录在生成目录的 feature_extraction.json。不同视觉模型与预处理设置的特征应分别报告。

# 只提取 NED;已有模型缓存时不访问网络
python extract_image_features.py --datasets NED --batch-size 16 --local-files-only

训练

默认按每阶段训练总 loss 最低选择 checkpoint,完全并列取较晚一轮。先完成该阶段全部训练,再选择模型,后续检测、PSE 筛选、教师与优化器均沿同一条轨迹继续;选模不读取下一块测试标签。

# 两个数据集,默认 seed=230
python train.py --output runs

# 单独训练
python train.py --datasets NED --output runs_ned
python train.py --datasets CrisisMMD --output runs_crisis

# 多个种子依次运行
python train.py --seeds 230 231 232 233 234 --output runs_five

# 相同数据、源码和配置下继续
python train.py --output runs --resume

初始训练为 50 epochs、batch=64;增量训练为 30 epochs、batch=128。SGD:lr=0.01、momentum=0.9、weight_decay=1e-4;beta=mu=0.5,不增加梯度裁剪或调度器。增量 batch 一半用于新知识学习,一半用于教师蒸馏。

配置 NED 默认值 CrisisMMD 默认值
融合 α sigmoid 约束在 (0,1) 直接可学习参数,初始 0.5
冻结文本编码器的训练模式 eval,关闭 Dropout train,保留 Dropout
训练行序 每阶段固定种子的逐轮打乱 准备后的固定混排行序
增量学生 每阶段按种子重新初始化 不适用
优化器动量 继承上一阶段选中状态 同一训练持续更新
浮点矩阵乘精度 完整 FP32(highest) high
模型选择 训练 loss 最低 训练 loss 最低

CrisisMMD 默认按测试真实事件标签稳定排序,每 64 条组成融合 batch,该结果属于标签分组诊断。固定混排测试使用:

python train.py --datasets CrisisMMD --crisis-test-order fixed --output runs_crisis_fixed

全局图文注意力矩阵为 [B,B],特征依赖同一 batch 中的帖子。NED 源 CSV 已按事件成段排列;保持公开清单顺序和评测 batch=64,改变 batch 组成会改变特征与检测结果。

可选 checkpoint 对照:

python train.py --datasets NED --ned-selection last --output runs_ned_last

# 使用下一块测试标签选模型,结果单独解释
python train.py --datasets NED --ned-selection next_best --output runs_ned_next_best

# CrisisMMD 使用独立混排验证集选模型
python train.py --datasets CrisisMMD --crisis-selection validation_best --output runs_crisis_val

--preset main 提供直接 α、冻结编码器训练 Dropout 开启、增量学生继承权重的对照参数;其默认 NED 分别运行 last/next_best,CrisisMMD 按验证集选择。各次完整配置写入输出目录的 protocol.json。

独立评测

python evaluate.py \
  --checkpoint runs/seed_230/NED/shared_M0/best_loss.pth \
  --dataset NED --csv data/prepared/NED/M_1.csv --output eval_ned_m1

python evaluate.py \
  --checkpoint runs/seed_230/CrisisMMD/train/best_loss.pth \
  --dataset CrisisMMD --csv data/prepared/CrisisMMD/test.csv --output eval_crisis

# 同一模型保留测试 CSV 的固定混排顺序
python evaluate.py \
  --checkpoint runs/seed_230/CrisisMMD/train/best_loss.pth \
  --dataset CrisisMMD --csv data/prepared/CrisisMMD/test.csv \
  --input-order fixed --output eval_crisis_fixed

评测默认读取 checkpoint 中的模型配置、精度和测试顺序,输出 ARI/NMI/AMI,以及特征、预测、图、Ward 树和二维结构熵曲线。图采用 Pearson 1NN、共享 hashtag/@mention 连边和正余弦边权,在所有 Ward 切分中选最小二维结构熵;增量阶段按 PSE 逐簇过滤噪声。

checkpoint 仅保存训练头,引用同一 seed 目录的 frozen_encoder.pth。迁移时保留冻结编码器及相对位置。汇总结果位于输出根目录的 results.csv 和 summary.csv。参考运行结果

检查与代码结构

# 不需要模型、图片或原始文本
python -m unittest discover -s tests -v

# 已准备完整数据与特征后,用少量样本检查流程;不计入性能
python train.py --datasets NED --smoke --output runs_smoke
  • prepare_data.py:按固定 ID 恢复数据块和闭集划分。
  • download_models.py / extract_image_features.py:准备编码器和整图特征。
  • train.py / evaluate.py:训练与独立检测入口。
  • seinevent/model.py:双向图文注意力、投影器、预测器与损失。
  • seinevent/engine.py:训练、选模、教师更新与结果保存。
  • seinevent/clustering.py / noise.py:结构熵聚类与 PSE 筛选。

引用

@article{yang2026seinevent,
  title={Structural Entropy Guided Incremental Learning for Open-World Multimodal Social Event Detection},
  author={Yang, Zhiwei and Qin, Haimei and Yu, Xiaoyan and Peng, Hao and Jiang, Lei and Sun, Li and Yang, Zhiqin},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={40}, number={19}, pages={16119--16127}, year={2026},
  doi={10.1609/aaai.v40i19.38647}
}

代码采用 MIT License。原始数据和预训练模型遵循各自条款,见 数据使用说明。

About

Code and fixed NED/CrisisMMD splits for Structural Entropy Guided Incremental Learning for Open-World Multimodal Social Event Detection (AAAI 2026).

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages