近期🔥火星电竞·(CHINA)官方网站，中国科学技巧大学团队想象一种多任务预稽察与教导学习组合的框架，名为 MultiGPrompt。

它通过图上多个预稽察任务和教导学习，缓解了不同任务间的彼此干豫。

同期，高效地将在预稽察阶段学到的多任务学问，迁徙到不同的卑鄙任务。最终，取得优于“单任务预稽察+微调/教导学习”的施展。

与大讲话模子中，泛用的预稽察任务完形填空看成通用预稽察范式比较，图由于具有复杂的结构，难以用单一预稽察任务来取得平素的学问。

与之对比的是，多任务预稽察框架或者和解地配合不同预稽察任务，并在不同卑鄙任务上施展出更好的泛化智商。因此，这种新式框架有望成为通往图大模子的旅途之一。

图丨于星橦（起头：于星橦）

日前，联系论文以《多任务预稽察和图形教导》（MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs）为题发布于预印本网站 arXiv[1]，并依然被第 24 届外洋万维网会议（International World Wide Web Conference，WWW）收受。

中国科技大学博士联系生于星橦为第一作家，中国科技大学张信明教授和新加坡治理大学方元助理教授担任共同通信作家。

图丨联系论文（起头：arXiv）

在联系初期阶段，该课题构成员建议了一种设念念：是否不错使用多种不同的预稽察任务，来惩办不同的卑鄙任务，以此罢了比单一预稽察任务更好的成果？

然而，纵情冷漠的是，这其中存在两个主要的挑战：将不同的稽察任务配合，以及将预稽察中每个任务的特定学问和全局学问，迁徙到卑鄙任务上。

具体来看，怎么使盘算不一致的稽察任务一谈彼此配合，来提高预稽察模子的智商呢？

在预稽察阶段，需要用多个不同的智能任务。最告成的秩序之一，是将每个预稽察任务的吃亏（loss）加起来，来得到最终的最相宜阶段的吃亏。

于星橦解释说谈：“然而这种作念法的成果并不睬念念，由于不同稽察任务的盘算不同，告成累加任务之间会产生彼此干豫，反而导致成果下落。”

图丨MultiGPrompt。a、图的多任务预稽察；b、教导卑鄙任务（起头：arXiv）

联系东谈主员针对每个预稽察任务，添加了特定的预稽察秀美（pretext token），通过这种形状让不同盘算的任务之间互不干豫。

于星橦指出，预稽察秀美本人会在预稽察的阶段，包含每个预稽察的任务特定的骨子。是以，通过预稽察秀美形状，在预稽察阶段，不错罢了不同的稽察任务共同配合的盘算。

接下来，联系东谈主员的要点惩办盘算，是在依然或者把统共任务比较好地和解，并迁徙到卑鄙任务的基础上，怎么具体地把预稽察任务迁徙到卑鄙任务。

需要了解的是，不同于单一的预稽察任务，多稽察任务到卑鄙任务的迁徙，不仅要有针对性地酌量每个具体预稽察任务的难题进度，还需要酌量怎么将全局和特定的学问迁徙到卑鄙。

于星橦默示：“全局学问的迁徙相对比较浅薄，是作念单一的、大的预稽察任务，不错通过教导学习迁徙到卑鄙任务上。”

图丨MultiGPrompt 的总体框架，由两个主要阶段构成：多任务预稽察，针对卑鄙少样本任务的基于教导的学习（起头：arXiv）

而每个预稽察任务特定的学问，运用预稽察秀美来学习团聚，这是关于卑鄙任务而言，特定的、与具体的预稽察任务联系的教导学习。

为此，该课题组建议一种双重教导机制，包括组合教导（composed prompt）以及绽放教导（open prompt）。通过特定预稽察任务以及全局预稽察学问，来教导少样本场景中的卑鄙任务。

联系东谈主员用 MultiGPrompt，将不同的预稽察任务进行和解。况兼，该框架具有普适性，适用于任何基于图的预稽察任务。

终末，他们在 6 个内行数据集上，进行了平素的执行，来全面评估和分析 MultiGPrompt，并评释它的性能比以往旅途更佳。

基于已有的通用预稽察模子，在接下来的联系阶段，该团队诡计探索协同多种不同图数据集共同预稽察图模子的秩序。

需要了解的是，图和（Natural Language Processing，NLP）预稽察模子的分裂在于，NLP 由于统共输入都是文本，因此具有一致性和和解的特征空间。

而图数据本人由于具有拓扑结构，况兼图的类型种种，举例酬酢网罗图、分子图、卵白质图、文件援用图等。

“每种类型的图分裂畸形大，因此它们的特征空间也不沟通，怎么和解这些图的特征是个精深的挑战。”于星橦说。

因此，关于这种预稽察模子的稽察形状，弗成像 NLP 限制那样，告成把统共的文本数据输入到讲话模子，而是需要先把统共图的特征空间对皆，然后智力将它们输入到图模子中。

总体来说，该联系提供了一种通用的图预稽察范式，卑鄙的双重教导机制为学问迁徙提供维持，有望基于此向图大模子发展。

参考贵寓：

1.https://arxiv.org/pdf/2312.03731.pdf

运营/排版：何晨龙

01/ 北大团队发现类病毒颗粒新机制，将发展基于类病毒颗粒的RNA寄递体系，助力研发新式疫苗

02/ 西交大团队罢了自拼装六方氮化硼纳米片制备大面积薄膜，兼具高探伤率与低暗电流，可用于空间微光探伤

03/ 光电催化制氢限制迎新冲破：科学家成就氧化亚铜薄膜制备新秩序，将载流子迁徙率提高1个数目级

04/ 科学家建议GenAINet框架，能让工业机器东谈主互换陶冶，让AI网罗成为详尽智能体

05/ 产氨量再翻新记录，科学家将合成氨隆重时辰提高30倍，300小时生成4.6克氨，可用于氢能储备