作者:Light | 问鼎GEO 技术合伙人|技术视角,研究AI搜索时代,品牌如何‘被发现’
日期:2025年7月17日
论文思想以及与品牌增长的关系
本论文探究了如何通过大语言模型去修改文章,从而提高文章在信息检索系统中的排名。通过记录每一轮修改过后的文章内容以及当时的排名,把这些历史快照以四种不同的组织方式作为提示词“喂”给大语言模型,大语言模型根据历史快照中的信息去提炼出提升排名的方法,并输出修改过后的文章。最后发现用成对式和列表式的组织方式作为提示词对于文章修改后的排名提升最大。掌握这一套提升文章排名的方法,我们可以灵活运用于品牌增长中,写出高质量文章从而增加品牌曝光度。
探究论文的研究方法以及研究结论
本次实验使用的排名器分为LambdaMART排名器与E5排名器。LambdaMART排名器用于模拟传统搜索引擎的排序策略,而E5排名器用于模拟AI搜索引擎的排序策略。
文章历史快照的概念:针对于问题集中的每个问题,都对应与问题关联的数个文章。在多轮的文章优化过程中,记录下文章当时的内容以及排名,所有文章的历史内容以及排名就成为文章历史快照。
利用大语言模型进行文章优化的提示词分为公用部分和四种不同提供文章历史快照的组织方式部分。
公用部分:限制文章必须忠于原文,不做过多改动。并且指出目的是提升文章在搜索引擎中的排名。最后提供查询的问题和需要修改的文章。
四种大模型提示词的组织方式分别为(以下指的文档对或文档列表都归属于同一个问题):
点对式(Pointwise):提供排名最高的文档。
成对式(Pairwise):提供随机两篇文档(不包含当前候选文档)和排名。
列表式(Listwise):提供文档列表和排名。
时间式(Temporal):提供同一个文档在不同轮次的修改中的内容以及排名。
成对式和列表式的提示词如下图
首先使用LambdaMART历史数据集以及LambdaMART排名器(测验在传统搜索引擎中的效果),用传统的SentReplace方法、学生修改、以及成对式(Pairwise)的大模型修改、列表式(Listwise)的大模型修改方式进行测验。结果如下图,成对式和列表式的组织方式对文章排名提升的效果最好,对原文忠实度略低于学生修改和SentReplace,但也还是很高。
第二次实验使用E5数据集以及E5排名器(测验在AI搜索引擎中的效果),用学生修改、以及成对式(Pairwise)的大模型修改、列表式(Listwise)的大模型修改方式进行测验。结果如下图,依然是成对式和列表式的组织方式对文章修改的效果最好。
第三次实验使用TREC9-TREC12数据集和E5排名器,采用每一轮次实时比赛的方式进行,模拟真实优化文章的环境。用学生修改、以及成对式(Pairwise)的大模型修改、列表式(Listwise)的大模型修改方式进行测验。结果如下图,成对式和列表式的组织方式对文章修改的效果最好。
测量指标:
Scaled Promotion:衡量文档排名提升(或下降)的程度。数值越高表示排名提升效果越好。
OrigFaith:衡量修改后的文档对其原始版本的忠实度,即保持内容一致性。数值越高表示忠实度越高。
CorpFaith(E5):衡量修改后的文档与整个语料库内容的忠实度,使用E5嵌入进行计算。数值越高表示与语料库的一致性越好。
CorpFaith(TF.IDF):衡量修改后的文档与整个语料库内容的忠实度,使用TF.IDF嵌入进行计算。数值越高表示与语料库的一致性越好。
Q:代表文章质量。
R:代表文章相关性。
综上所述,成对式和列表式对于文章优化在搜索引擎中的排名的效果更好,是一种有效的优化文章的方式。
论文结论对品牌AI营销的指导意义
在真实的搜索引擎环境中,我们无法获取到之前的文章历史快照。但是我们可以从当前时刻开始,定时(比如以天或者周为维度)获取搜索引擎中的前几名文章内容以及当时的排名,这样就可以构建出文章历史快照。再把文章历史快照通过成对式或者列表式的提示词方式去“喂”给大语言模型,从而让大语言模型生成出高质量的能提升排名的修改过后的文章,然后反复迭代这个过程持续优化文章排名,从而达到提升品牌曝光度的目的。
引⽤论⽂:
标题:“White Hat Search Engine Optimization using Large Language Models”
作者:Niv Bardas、Tommy Mordo、Oren Kurland、Moshe Tennenholtz、Gal Zur
发表回复