wutong8023 / aaai-cml

Hi there 👋

I am Tong, a Ph.D. candidate in school of computer science at Southeast University, co-supervised by Prof. Guilin Qi (Southeast University), Prof. Reza Haffari (Monash University) and Prof. Yuan-Fang Li (Monash University). My research interests include low-resource natural language processing and machine learning, especially information extraction, dialogue system, few-shot learning, and continual learning.

Contact

Experience

Repositories

aaai-cml's Issues

您好！我想请问论文中提到实验所用指标average accuracy对以前的任务比较重视，这应该如何理解？

valid data和模型存储问题

之前运行了一下您的代码，结果对于验证集的valid_acc一直是0，后来对比了一下验证集和测试集，发现测试集的负例里面包含正确标签而验证集不包含，所以是否需要修改_process_testing_samples_函数以适应验证集呢？

另外代码中对每一步使得valid_acc有提高的模型参数都进行存储，最后训练完才进行统一清理，感觉会占用大量存储。鉴于只需要使用效果最好的模型参数，是否可以在每一步存储新模型前把之前存储的数据删除呢？

以上两个代码运行时出现的与论文内容本身无关的问题。

对论文中的Error Bound有些疑问

请问Error Bound中的Zα/2 是什么意思呢，是95%的置信区间吗？

关于指标Average Forgetting Rate的疑问

很高兴能读到这篇出色的工作，对我很有启发，但是对于文章中设计的Average Forgetting Rate指标我不太理解，请问能详细解释下这个指标的含义吗？它为什么能衡量模型对顺序的敏感性？