关于deltaKG运行结果的问题 about promptkg

[zxlzr]

您好，敬请稍等，会有同学尽快排查协助解决您的问题。

[cheng-siyuan]

您好，我是内大计算机技术专业研一的学生，我在准备课程论文汇报时阅读了你们的论文《Editing Language Model-based Knowledge Graph Embeddings》，并下载了代码。在按照deltaKG中README.md的步骤运行后发现得到的结果比较奇怪，有些地方不是很懂，所以想请教几个问题：

1. 因为我目前是研一，老师只给了RTX4060Ti的实验环境让我们进行练习，而且没有TPU资源，在这种条件下是否会影响运行结果呢？
2. 在我个人的理解下，论文中提到的Succ@1、Succ@3和RK@3应该是运行后得到的Eval/hits1、Eval/hits3和Eval/loc_hits3，不知道我的理解是否正确。此外，ERroc和RKroc应该怎么获取到的呢？
3. 如果我在2中的理解没有问题的话，那么我在E-FB15k237、E-WN18RR、A-FB15k237和A-WN18RR数据集运行得到的deltaKG结果和论文展现的结果差距比较大，不知道是哪里出现了问题，而且我不知道如何具体获取最终最优值，因此我按个人理解列出了这4个任务运行后结果的最优值（最后附有完整结果文件）：
   E-FB15k237：
   Eval/hits5 0.990602721970188
   Eval/hits3 0.9880103694102398
   Eval/hits1 0.8836681788723266
   Eval/mean_rank 3.50550874918989
   Eval/mrr 0.9355371773935355
   Eval/loc_hits1 0.625
   Eval/loc_hits3 0.8882858068697342
   Eval/loc_hits5 0.9627349319507453
   Eval/loc_mean_rank 2.393308489954634
   Eval/loc_mrr 0.7188704811823695

A-FB15k237： Eval/hits5 0.6335 Eval/hits3 0.5555 Eval/hits1 0.355 Eval/mean_rank 73.8045 Eval/mrr 0.4733669578972416 Eval/loc_hits1 0.5905 Eval/loc_hits3 0.931 Eval/loc_hits5 0.98375 Eval/loc_mean_rank 1.81425 Eval/loc_mrr 0.7527356962481963

E-WN18RR： Eval/hits5 0.5271428571428571 Eval/hits3 0.49 Eval/hits1 0.4064285714285714 Eval/mean_rank 1822.9242857142858 Eval/mrr 0.46436553205070175 Eval/loc_hits1 0.8128571428571428 Eval/loc_hits3 0.9901785714285715 Eval/loc_hits5 0.9991071428571429 Eval/loc_mean_rank 1.3035714285714286 Eval/loc_mrr 0.8939602759797293

A- WN18RR： Eval/hits5 0.8065 Eval/hits3 0.782 Eval/hits1 0.6995 Eval/mean_rank 197.6585 Eval/mrr 0.7491706330059167 Eval/loc_hits1 0.71425 Eval/loc_hits3 0.978375 Eval/loc_hits5 0.99575 Eval/loc_mean_rank 1.452375 Eval/loc_mrr 0.8385862389371804

完整的运行结果如下： KGEdito-FB15k237-edit.txt KGEditor-FB15k237-add.txt KGEditor-WN18RR-add.txt KGEditor-WN18RR-edit.txt

谢谢！

你好，感谢你对我们论文的关注，由于个人时间问题，可能没有办法全部复现实验，我在这里为你找到了我们以前的log日志，希望可以供你参考。log中实验次数较多，主要是测试了不同编辑数目下实验的结果（编辑个数【1 2 4 8 16 32】），如果是只关注主实验结果的话只需要参考编辑数目为2的结果就好。

1、这里想提示一下，使用超网络确实有些时候不太好训练，特别是我们的KGEditor是基于KE的，我们后续一些实验发现其实如果把超网络替换为MEND可能训练的更加稳定一点，这你可以试试。环境问题可能也是导致实验结果出现偏差的原因，建议可以排查一下；

2、是的，你的理解是正确的，关于ERroc和RKroc我们在论文的Methodology一节中有说明，是取编辑前后的整体rank平均变化率来求得的，主要关注编辑对前后rank的影响大小；

我们的实验结果我上传到谷歌云盘了，你可以在这里下载：
https://drive.google.com/file/d/1B_lyuS_O5_jD2RLZeh6b5mLIUHxzm4at/view?usp=sharing

[LHS23]

您好，我是内大计算机技术专业研一的学生，我在准备课程论文汇报时阅读了你们的论文《Editing Language Model-based Knowledge Graph Embeddings》，并下载了代码。在按照deltaKG中README.md的步骤运行后发现得到的结果比较奇怪，有些地方不是很懂，所以想请教几个问题：

1. 因为我目前是研一，老师只给了RTX4060Ti的实验环境让我们进行练习，而且没有TPU资源，在这种条件下是否会影响运行结果呢？
2. 在我个人的理解下，论文中提到的Succ@1、Succ@3和RK@3应该是运行后得到的Eval/hits1、Eval/hits3和Eval/loc_hits3，不知道我的理解是否正确。此外，ERroc和RKroc应该怎么获取到的呢？
3. 如果我在2中的理解没有问题的话，那么我在E-FB15k237、E-WN18RR、A-FB15k237和A-WN18RR数据集运行得到的deltaKG结果和论文展现的结果差距比较大，不知道是哪里出现了问题，而且我不知道如何具体获取最终最优值，因此我按个人理解列出了这4个任务运行后结果的最优值（最后附有完整结果文件）：
   E-FB15k237：
   Eval/hits5 0.990602721970188
   Eval/hits3 0.9880103694102398
   Eval/hits1 0.8836681788723266
   Eval/mean_rank 3.50550874918989
   Eval/mrr 0.9355371773935355
   Eval/loc_hits1 0.625
   Eval/loc_hits3 0.8882858068697342
   Eval/loc_hits5 0.9627349319507453
   Eval/loc_mean_rank 2.393308489954634
   Eval/loc_mrr 0.7188704811823695

A-FB15k237： Eval/hits5 0.6335 Eval/hits3 0.5555 Eval/hits1 0.355 Eval/mean_rank 73.8045 Eval/mrr 0.4733669578972416 Eval/loc_hits1 0.5905 Eval/loc_hits3 0.931 Eval/loc_hits5 0.98375 Eval/loc_mean_rank 1.81425 Eval/loc_mrr 0.7527356962481963
E-WN18RR： Eval/hits5 0.5271428571428571 Eval/hits3 0.49 Eval/hits1 0.4064285714285714 Eval/mean_rank 1822.9242857142858 Eval/mrr 0.46436553205070175 Eval/loc_hits1 0.8128571428571428 Eval/loc_hits3 0.9901785714285715 Eval/loc_hits5 0.9991071428571429 Eval/loc_mean_rank 1.3035714285714286 Eval/loc_mrr 0.8939602759797293
A- WN18RR： Eval/hits5 0.8065 Eval/hits3 0.782 Eval/hits1 0.6995 Eval/mean_rank 197.6585 Eval/mrr 0.7491706330059167 Eval/loc_hits1 0.71425 Eval/loc_hits3 0.978375 Eval/loc_hits5 0.99575 Eval/loc_mean_rank 1.452375 Eval/loc_mrr 0.8385862389371804
完整的运行结果如下： KGEdito-FB15k237-edit.txt KGEditor-FB15k237-add.txt KGEditor-WN18RR-add.txt KGEditor-WN18RR-edit.txt
谢谢！

你好，感谢你对我们论文的关注，由于个人时间问题，可能没有办法全部复现实验，我在这里为你找到了我们以前的log日志，希望可以供你参考。log中实验次数较多，主要是测试了不同编辑数目下实验的结果（编辑个数【1 2 4 8 16 32】），如果是只关注主实验结果的话只需要参考编辑数目为2的结果就好。

1、这里想提示一下，使用超网络确实有些时候不太好训练，特别是我们的KGEditor是基于KE的，我们后续一些实验发现其实如果把超网络替换为MEND可能训练的更加稳定一点，这你可以试试。环境问题可能也是导致实验结果出现偏差的原因，建议可以排查一下；

2、是的，你的理解是正确的，关于ERroc和RKroc我们在论文的Methodology一节中有说明，是取编辑前后的整体rank平均变化率来求得的，主要关注编辑对前后rank的影响大小；

我们的实验结果我上传到谷歌云盘了，你可以在这里下载： https://drive.google.com/file/d/1B_lyuS_O5_jD2RLZeh6b5mLIUHxzm4at/view?usp=sharing

收到，感谢你的回复与帮助！