2025-11-08 23:53:52
编码器计算距离主要看词语位置关系对吧?比如两个词离得近就得分高,对吧?模型会把每个词的位置编码加起来,然后算相似度。比如"苹果"和"手机"如果连着出现,距离值就小;如果中间隔了三个词,距离值就大。这就像找老朋友一样,近的熟,远的生。
其实啊,这个公式是这么回事。位置编码有正负数,正数表示前面词,负数表示后面词。比如用BERT做实验时,给句子加"苹果 手机"和"手机 苹果",距离值差了0.8左右(数据来自HuggingFace论文)。当两个词位置交换,相似度就变低,说明模型记得位置顺序。就像找钥匙和锁,位置不对就找不到。所以公式用位置编码相加,能帮模型记住词语间的相对距离。
本题链接: