论文图1中的relative positions为什么是[1,1535] about pose

[jy-101361-1810897]

好的明白了，感谢回复

[dwzhu-pku]

你好 @jy-101361-1810897 ，感谢你的关注！图一中第一个样例，前半段覆盖的相对位置是 [1, 511]，后半段覆盖的相对位置是 [1, 1535]，后半段和前半段之间覆盖的相对位置是 [6049, 8095]，因此三个区间合并后是 [1, 1535] ∪ [6049, 8095]

[jy-101361-1810897]

感谢您的回复，请问相对位置的具体计算是怎样的？[1, 1535]是怎样得到的

[dwzhu-pku]

感谢您的仔细提问。相对位置就是两个token的position id相减。如，对于后半段，总共有1536个token，这些token的position id分别是 {6560, 6561, ..., 8095}。每个token可以对它之前的所有token做attention，所以相对位置最大是8095-6560=1535，最小是1。