基于自适应多头超图卷积网络的小样本回归模型

王 梅1,2, 闫祖嘉1, 高雅田1,2, 高俊涛1,2

(1.东北石油大学 计算机与信息技术学院, 黑龙江 大庆 163318;2.东北石油大学 黑龙江省石油大数据与智能分析重点实验室,黑龙江 大庆 163318)

摘 要:针对图神经网络基于二元边结构难以捕捉多节点间的高阶交互,并且固定拓扑的图结构无法适应动态数据分布等问题,提出一种基于自适应多头超图卷积网络的小样本回归模型(AM-HGCN)。首先,通过动态超图构建方法融合特征相似度与拓扑结构,结合k阶邻居(k-hop)和k近邻(k_NN)策略生成多尺度超边,自适应捕捉特征间的交互关系;其次,设计多头超图卷积网络,利用并行注意力头提取异构特征,并通过动态门控机制融合多粒度信息,增强模型的表达能力;最后,引入模型无关元学习框架,通过内外循环优化实现快速任务适应。在数据集Boston Housing、Energy Efficiency、IMDB、MiniImageNet上的实验表明:对于结构化数据集,AM-HGCN在评价指标上显著优于主流基线模型,其中决定系数最高为0.775,验证了其对复杂关系建模的有效性。消融实验进一步证明,动态超图与多头注意力机制的协同作用是小样本回归性能提升的关键,实验结果验证了所提方法的有效性。

关键词:小样本学习; 超图; 超图卷积神经网络; 多头注意力机制; 元学习

近年来,小样本学习(few-shot learning, FSL)已经成为机器学习领域的一个研究热点[1],如何在小样本环境下有效建模特征关系,并提升模型能力,是当前小样本学习研究的核心挑战。

小样本学习在数据稀缺场景下的应用取得显著成功。其核心价值体现在跨领域的高效泛化能力与知识迁移。在医学诊断中,采用smote-tomet links方法对不平衡数据进行处理,在脑小血管病小样本不平衡环境下,能够显著提升准确率[2];在遥感领域中,利用相关性原理,设计一种基于对比语言-图像预训练模型的类别信息融合模块,以增强查询图像与支持图像及文本间的类别适配能力[3]

基于图神经网络(graph neural network,GNN)的小样本学习方法融合了度量学习和元学习的优点[3],相较于基于元学习的方法,GNN能够精准地捕捉样本的类间和类内关系。为了对传统的GNN进行改进,Gidaris等[4]在GNN中引入了降噪自编码器,以修正小样本类别的权重。Velickovic等[5]进一步改进了这一方法,关注节点的邻域特征,并通过自注意力机制为不同的邻居节点分配不同的权重,从而增强信息聚合能力。赵晓等[6]用注意力机制优化骨干网络提取到的基础特征并引入小波变换提取多频率域特征以捕捉细节信息。葛小三等[7]发现基于度量学习的遥感影像分类中小样本学习特征空间图像特征分布不明显问题,提出SER-GNN进行遥感影像图像特征提取,增强模型对关键区域的关注能力。沈瑜等[8]提出一种基于图结构,采用改进的k-Means聚类方法生成融合时序特征的图节点,构建时空注意力图网络,并引入方差差异损失函数,在时间维度捕捉序列不同周期的演化规律。

然而,图神经网络基于二元边结构,难以捕捉多节点间的高阶交互[9],固定拓扑的图结构无法适应动态数据分布,单一注意力机制难以捕捉异构特征的多粒度信息,易产生冗余或信息丢失。超图作为一种泛化的图结构,通过超边连接任意数量节点的特性,为高阶关系建模提供了更自然的数学框架[10]。超图卷积网络能有效提升特征交互建模能力,多头注意力机制增强异构特征表达能力。

为了解决上述问题,引入了超图卷积网络(HGCN)与多头注意力机制。传统图卷积网络受限于二元边关系建模,难以有效捕获群体交互特征。为此,Feng等[11]率先提出超图卷积神经网络。Bai等[12]在HGCN的卷积网络基础上加入了注意力机制,通过自注意力层进一步增强了表示学习能力。吴越等[13]将HGCN的应用范围扩展至异质网络,使用网络模体构造超边,将异质网络转换为超图。该模型通过超图卷积网络和注意力机制聚合超图内部不同类型节点的信息,实现半监督超图节点分类任务。Jiang等[14]认为构造的初始超图可能不适用于最终的数据表示,因此,提出了一种动态超图神经网络(DHGNN),通过特征重构动态调整超边关系,但未解决小样本场景下的任务适应问题。

基于上述思考,本文提出一种基于自适应多头超图卷积网络的小样本回归模型(adaptive multi-head hypergraph convolutional network,AM-HGCN)。提出基于特征相似度的动态超图构建方法,利用余弦相似度构建初始特征,选择相似度高的节点集合作为超边,结合k_hop算法和k_NN算法从全局和局部的角度构建动态超图,使超图适用于更复杂的关系建模;提出多头超图卷积网络,通过多个卷积头并行地学习不同的图卷积特征,增强了模型的表达能力;在4个数据集上进行了实验,结果表明:相较于其他经典小样本学习模型,本文提出的模型在准确率上取得了较好的结果。

1 小样本学习回归模型

1.1 基于AM-HGCN框架

本文模型的主要思想:通过节点特征构建超图并生成超图关联矩阵;定义多个卷积头,将关联矩阵和初始节点特征输入到多个超图卷积网络中,得到多个卷积后的节点特征;利用多头注意力机制对节点特征进行加权聚合,并基于聚合后的节点特征和超图动态构建与重建超图结构;这一过程重复进行,直至达到设定的模型层数;将最终得到的节点特征送入元学习训练循环进行训练,最后进行预测。多头注意力的超图卷积网络小样本回归模型主要包含动态超图构建模块、多头超图卷积网络模块和门控融合模块。该模型整体框架结构如图1所示。

图1 基于AM-HGCN框架图

Figure 1 Framework diagram of a few-shot regression model based on AM-HGCN

1.2 基于特征相似度的动态超图构建

本节介绍基于特征相似度的动态超图构建方法。该方法利用节点特征相似度自适应构建超边,增强超图对高阶关系的建模能力,实现超图结构自适应调整。具体而言,先计算节点特征的余弦相似度矩阵,再基于设定分位数阈值动态选取高相似度节点集作为超边。同时,结合k_hop与k_NN方法,分别从全局和局部角度构建超边以利用多尺度信息,最终通过等量融合策略合并两类超边,形成动态超图结构。

通过计算节点特征之间的余弦相似度来度量节点之间的相似性,并基于设定的阈值来动态生成超边,通过余弦相似度计算,计算出特征之间的余弦相似度。

(1)

式中:ΧRN×d为特征矩阵,N为数据个数,d为影响因素个数;ΧiL2范数。

若节点i和节点j之间的相似度大于设定的阈值τ,就将节点放入一个超边。这样每个超边代表了一组相似的节点,构造出超图的初始超边集。

Ei={j|similarity(i,j)≥τ}。

(2)

k_hop方法基于图的拓扑结构构建超边。选择中心点vi,并确定k_hop邻居,当k=1时,选择所有1-hop邻居形成超边E1-hop(vi);当k=2时,选择所有2-hop邻居形成超边E2-hop(vi)。对所有节点重复上述步骤,形成完整的超边集。构造超图关联矩阵Hk-hop,若节点vi属于超边Ek,则Hi,k=1,否则Hi,k=0。

k_NN方法在局部范围内构建超边。计算特征相似度矩阵B时,选择每个节点的φ个最近邻节点,形成超边Ek-NN(vi)。利用注意力机制计算权重αij,αij定义为

(3)

式中:f(Bij)为可学习的评分函数;N(i)为节点viφ个最近邻集合。

将注意力加权后的邻居集合作为超边集,构造超图关联矩阵H

1.3 多头超图卷积网络

本节介绍一种基于动态多头注意力机制的自适应超图卷积网络方法,将多头注意力机制部分定义k个独立的注意力头,每个头通过可学习参数生成节点特征与超边特征的交互权重。对输入节点特征XRN×d(N为节点数,d为特征维度),第m个头的注意力权重矩阵A(m)RN×M计算为[15]

(4)

式中:为第m个头的查询与键投影矩阵;H∈{0,1}N×M为超图关联矩阵;dm为缩放因子。

注意力权重用于加权超边特征为值投影矩阵。

通过动态构建关联矩阵HX作为输入实现特征传播,得出多个节点特征矩阵,其核心公式为

(5)

式中:分别为节点度矩阵和超边度矩阵。

自适应多头超图卷积将二者结合,将式(6)得出的第m个节点特征矩阵作为注意力权重动态融合的输入,使用式(7)得出融合后的节点特征矩阵:

(6)

(7)

式中:γ(m)为自适应门控权重;MLP为多层感知机。门控融合就是对每个卷积头输出进行自适应加权融合。

综上,超图卷积层通过动态生成的超图关联矩阵进行特征变换,利用多头注意力机制捕捉多粒度交互模式,最终输出融合后的节点特征经线性投影得到的回归预测值,整个过程通过自适应权重调节实现任务相关的特征选择。

1.4 MAML模块

本节提出动态超图与元学习的小样本回归模型,通过内外循环协同优化,实现快速任务适应。模型输入包含δ个任务集合,每个任务由支持集Sδ和查询集Qδ构成,其中,支持集包含U个样本,查询集包含G个样本。

训练循环采用模型无关元学习(model-agnostic meta-learning,MAML)框架,分为内循环任务适配与外循环元更新两阶段。内循环阶段,对每个任务δ,复制元参数θ为任务参数θi,在支持集上通过梯度下降更新参数。

(8)

式中:t为内循环学习率;LSδ为支持集上的均方误差损失;fθ为AM-HGCN模型。

(9)

外循环阶段,基于查询集计算元损失,通过二阶梯度更新元参数θ

(10)

式中:β为外循环学习率;LQi为查询集损失,形式与LSδ一致。

1.5 算法流程

AM-HGCN模型分为动态超图构建与多头超图卷积训练。通过内外循环优化实现小样本回归任务。

算法1 动态构建超图关联矩阵。

输入:节点特征矩阵XRN×d、阈值τk_hop参数kk_NN参数φ;

输出:超图关联矩阵H

① 初始化超边集E←∅;

② 生成相似度矩阵

③ 生成初始超边Esim={{vj|Bijτ}|∀viV};

④ 对每个节点,选择k_hop邻居节点集合,构成超边Eglobal;

⑤ 对每个节点,选择φ个最近邻居点,计算注意力权重

⑥ 定义局部超边Elocal;

⑦ 合并超边E=EglobalElocal;

⑧ 构造超图关联矩阵H;

⑨ 动态更新。根据当前隐藏层特征X(t)重新计算B并更新EglobalElocal

算法2 多头超图卷积与元学习训练。

输入:支持集Sδ、查询集Qδ、元学习初始参数θ;

输出:预测值

① 通过算法1构造H,初始化M个独立注意力头,第m个头的权重计算为

② 计算节点度矩阵Dv=diag(H1|E|×1);

③ 计算超边度矩阵

④ 进行特征传播

⑤ 计算门控权重:

γ(m)=Sigmoid(MLP((Z(1),Z(2),…,Z(M))));

⑥ 多头融合即

⑦ 内循环任务适配,在支持集上更新任务参数θ:

⑧ 求出损失

⑨ 外循环元更新:在查询集上更新元参数θ:

1.6 时间复杂度分析

本节对整个算法进行复杂度分析,在余弦相似度计算中,对N个节点的d维特征计算两两相似度,时间复杂度为O(N2d),k_hop 超边生成时间复杂度为O(Nd),k_NN 超边生成时间复杂度为O(N2),m个注意力头的时间复杂度为O(mN2dm)。经过超图卷积后,总复杂度为O(m(N2d+Nd2)),多头超图卷积的总复杂度为O(mN2d),元学习内循环在支持集U个样本上迭代Tinner次时间复杂度为O(TinnerUd2),元学习外循环在查询集G个样本上迭代Touter次时间复杂度为O(TouterGd2)。综合所有模块,算法复杂度为

O(N2d(1+m)+Ttotal(U+G)d2)。

(11)

2 实验部分

2.1 数据集介绍

本文应用的小样本公共数据集包括Boston Housing[16]、Energy Efficiency[17]、IMDB[18]、MiniImageNet[19]

(1)Boston Housing:Boston Housing为房价数据集,任务类型为回归,样本数量为506,特征为13个连续型数值特征。

(2)Energy Efficiency:Energy Efficiency为能源效率数据集,任务类型为回归,样本数量为768,特征为8个连续型数值特征。

(3)IMDB:IMDB是一个经典的文本分类数据集,该数据集共有25 000条英文电影评论。

(4)MiniImageNet:粗粒度图像分类数据集,类别个数100个,每类图像均含有600张图片,尺寸为84×84。

上述4个数据集数据量不多且全部适用于小样本学习任务,数据集采用两个回归任务,一个图像任务和一个文本任务来说明AM-HGCN的泛化性能。两个回归数据集具有明显差异,房价数据集偏于线性低维,存在一些噪声,而能源效率数据集具有强非线性的特点,特征交互显著,表1为公共数据集参数。

表1 公共数据集参数

Table 1 Public dataset parameters

数据集个数特征/类数类型Boston Housing50613RegressionEnergy Efficiency7688RegressionIMDB25 0002文本分类MiniImageNet60 000100粗粒度图像分类

2.2 实验设置

本文实验使用的操作系统为Windows10,CPU为Intel Core i5-9300H,GPU为NVIDIA GeForce GTX 1660Ti,在PyCharm2022平台上进行开发和调试。使用PyTorch框架实现AM-HGCN模型。

模型采用4∶3∶3的数据划分,使用4头超图卷积,内外循环学习率分别为0.010和0.001。激活函数为leaky_relu,Dropout率为0.6。所有实验均通过十折交叉验证取平均结果。

MiniImageNet数据集进行了N-way K-shot分类任务的训练和测试,采用5-way 5-shot的设置,随机采样5个类,每个类包含5个支持样本和15个查询样本。IMDB在实验中的小样本是从原始训练集中每个类别中抽取k个实例,k∈(5,10,20),形成小样本训练集,再从每个类别中抽取k个实例形成验证集。

2.3 小样本学习基线模型和评价指标

本文采用基线模型包括GCN[20] 、TabPFN[21]、QPT[18]、FHA-LP[19]

回归任务采用均方根误差(RMSE)、决定系数(R2)、平均绝对误差(MAE),其中RMSEMAE越接近 0,R2越接近 1,模型越准确。文本分类采用准确率(Accuracy)和F1指标。

图卷积神经网络(GCN)与 AM-HGCN 同属图神经网络框架,核心差异在于图表示与邻接关系建模。GCN 基于二元边图结构,AM-HGCN 则以超边连接多节点。TabPFN 为新颖模型,可快速精准预测小规模表格数据集。FHA-LP 与 AM-HGCN 均含注意力机制用于小样本学习,前者动态关注支持样本,后者动态构造特征关系。QPT 是小样本文本分类的突出模型,针对自然语言文本的稀疏性与语义离散性建模,领域适应度高且认可度广。

2.4 模型对比实验结果分析

本实验在4个公共数据集上对比了AM-HGCN与4种基线模型的性能,涵盖回归预测、文本分类、图像分类3部分。AM-HGCN在回归数据集上表现较优,验证了其在回归任务中的有效性。

图2为不同模型在回归数据集上的对比结果。在Boston Housing中,AM-HGCN的R2达0.775,显著优于其他模型,表明其在低维结构化数据中能更精准捕捉特征间非线性关系。在Energy Efficiency数据集上,AM-HGCN的R2为0.462较TabPFN的R2(0.451)提升2.4%,体现其在复杂数据中的鲁棒性。在Boston Housing和Energy Efficiency公开数据集上的实验表明,相较于基线模型GCN和TabPFN,AM-HGCN的预测准确性更优。

图2 在回归数据集上模型对比结果

Figure 2 Model comparison results on a regression dataset

表2为不同样本在Energy Efficiency数据集预测结果。由表2可知,样本1与样本3的预测误差较大,说明模型在部分复杂样本上的拟合能力仍存在一定不足。其中,样本1的预测值低于真实值,而样本3则出现高估现象,表明模型对部分特征组合较为敏感。相比之下,样本2的预测结果与真实值较为接近,说明模型在常规样本上的预测结果相对稳定。

表2 Energy Efficiency数据集预测结果

Table 2 Prediction results on Energy Efficiency dataset

样本表面积/m2真实值/(kW·h)预测值/(kW·h)绝对误差/(kW·h)10.66715.612.103.520.71023.823.500.330.77518.221.503.3

为了证明本文模型AM-HGCN在图像分类上是否具有泛化性,将AM-HGCN和FHA-LP模型在MiniImageNet图像分类数据集上进行对比,采用5-way 1-shot和5-way 5-shot设置。由于采样了5个类别,将AM-HGCN中元学习的任务数设置为5。

表3为粗粒度实验结果,结果显示,FHA-LP模型在5-way 1-shot上优于AM-HGCN,但在5-way 5-shot上仅略有提升。二者虽均融合注意力机制,但FHA-LP专为小样本图像分类设计,含特征增强机制以强化支持集表示,通过局部原型建模更精细区分类间差异;而AM-HGCN核心是动态构建超图捕捉特征高阶关系,对图像数据缺乏天然空间感知能力,故在图像领域泛化能力有限,需结合视觉模型或设计适配性更强的跨模态结构以提升性能。为验证AM-HGCN在文本分类上的泛化性,将其与QPT模型在IMDB情感分类数据集上进行对比。IMDB采用手工模板引导预训练语言模型理解任务目标,模板需依据数据集标签构建提问句,以激发大语言模型结合上下文自主回答。5-shot、10-shot和20-shot的实验结果如图3所示。

表3 粗粒度实验结果

Table 3 Coarse-grained experimental results

模型Accuracy/%5-way 1-shot5-way 5-shotFHA-LP55.0274.04AM-HGCN54.1375.11

图3 在IMDB上AM-AGCN和QPT模型对比结果

Figure 3 AM-AGCN and QPT models comparison results on IMDB

由图3可知,AM-HGCN模型的上升趋势比QPT高,QPT已接近平稳状态,预估样本数量再增加一些,AM-HGCN模型的准确率会高于QPT,但是这也违背了小样本学习的初衷,AM-HGCN设计初衷是针对结构化特征进行建模,其超图卷积机制更适合处理特征之间的高阶关系,相比之下,QPT是基于Transformer的轻量级参数高效模型,专为处理序列信息和上下文建模而设计,更适合自然语言文本分类。AM-HGCN在文本分类中需要将文本先转换为结构化特征,而这一步可能损失文本的上下文语义和结构信息。

2.5 参数对比实验

为了验证模型中关键参数对最终性能的影响,本节将每个参数的组合放入模型中进行实验分析,来证明模型参数对结果的影响,数据集采用Boston Housing,模型的各个参数如表4所示。

表4 模型参数

Table 4 Model parameters

参数含义取值最优取值φk_NN超边的邻居数1,3,5,7,9,119k多跳邻居1,2,31num_heads多头数量1,2,4,88hidden_dim隐层维度32,64,12864

本实验使用控制变量法,先固定一组参数组合,然后通过改变其他参数的值,查看参数变化对结果的影响。

为分析各超参数对AM-HGCN模型性能的影响,在Boston Housing数据集上分别调整φknum_headshidden_dim 4个关键参数,结果如图4所示。

图4 模型参数分析结果

Figure 4 Model parameter analysis results

φ从1增加至9时,R2明显提升,说明合适的局部邻居数量有助于超边捕捉局部特征交互。但过大的邻居数反而导致轻微退化,可能是过多冗余连接引入噪声。类似地,num_heads增加至8时效果最佳,过多头下降幅度过大,表明多头机制对特征增强有用,但过多也可能造成过拟合。综合各参数影响,最优取值如表4所示。

2.6 消融实验

为验证动态超图构建、多头注意力机制及元学习框架对模型性能的贡献,本节通过消融实验证明模型有效性,结果如表 5 所示。表5中w/o DH 指移除动态超图、使用固定超图;w/o MHA 指移除多头注意力、仅保留单一注意力头;w/o MAML 指移除元学习框架。实验在 Boston Housing 数据集上进行。

表5 消融实验结果

Table 5 Results of ablation experiment

模型配置R2RMSEMAEw/o DH0.7182.891.32w/o MHA0.6812.811.21w/o MAML0.7622.951.23AM-HGCN0.7751.531.15

在 Boston Housing 数据集上消融实验表明,动态超图构建、多头注意力机制与元学习框架是 AM-HGCN 性能优越的关键。三者协同,解决高阶关系建模、特征多样性表达及任务快速适应问题。

2.7 定性分析实验

为深入探究动态超边构建机制对模型性能的影响,在Boston Housing数据集上可视化了训练中动态生成的超图结构(图5)。图5中节点代表特征(如 nox、rm、tax 等),红色区域为基于互信息或相似性构成的超边,其透明度随训练进程变化,反映特征关联强度的演化。训练轮数增加后,可见部分特征的交互关系逐渐增强。

图5 动态超图构建

Figure 5 Dynamic hypergraph construction

可以发现图5中的noxtaxlstatindus连接了大量超边,这就说明这些特征具有高相关性或冗余性,znbdis节点连接较为稀疏,虽然易被模型边缘化,但在局部特征空间中仍具关键作用。

通过表6可知,超图卷积能够有效反映样本的局部结构特性。样本102位于稀疏区域,形成的超边较少,高阶关联信息不足。样本430由于tax特征异常偏高,对房价预测产生负向影响,说明模型能够捕获异常特征及高阶关系。

表6 Boston Housing样本表现

Table 6 Performance of boston housing samples

编号特征组合真实值/$预测值/$102rm=8.5, lstat=4.0%, nox=0.4×10-645.039.8270rm=4.0, lstat=25.0%, dis=1.58.013.2430rm=6.0, lstat=15.0%, tax=600$20.518.0

3 结论

(1)本文设计了AM-HGCN的小样本回归模型,通过动态超图构建与多头注意力机制有效建模特征间的高阶关系。

(2)动态超图构建方法突破了传统图结构对高阶交互捕捉能力不足的限制,使模型能够自适应地反映复杂特征关系。

(3)引入多头注意力机制与动态门控融合策略,在多粒度层面增强异构特征的表示能力。

(4)在 Boston Housing、Energy Efficiency 等回归数据集上,AM-HGCN 在RMSER2等指标上显著优于主流基线模型;在 MiniImageNet 与 IMDB 数据集上的实验也体现出一定的泛化能力。

(5)通过消融实验,发现动态超图构建、多头注意力机制与元学习框架三者协同作用,是模型性能提升的关键因素。

(6)在图像分类与文本分类任务中,AM-HGCN 的表现尚不及专门设计的前沿模型,后续研究可考虑与视觉模型、跨模态结构结合,以进一步提升跨领域泛化能力。

参考文献:

[1] Zhao Kailin, Jin Xiaolong, Wang Yuanzhuo. Survey on few-shot learning[J]. Journal of Software, 2021, 32(2): 349-369. [赵凯琳, 靳小龙, 王元卓. 小样本学习研究综述[J]. 软件学报, 2021, 32(2): 349-369.]

[2] Wang Benben, Yan Yuefei, Lu Huizhen, et al. A predictive approach for cerebral small vessel disease based on imbalanced limited-sample data[J]. Electro-Mechanical Engineering, 2025, 41(3): 87-92. [王奔犇, 严粤飞, 陆慧珍, 等. 基于小样本不平衡数据的脑小血管病预测方法[J]. 电子机械工程, 2025, 41(3): 87-92.]

[3] Zhou Wei, Wei Mingan,Xu Haixia, et al. A few-shot land cover classification model for remote sensing images based on multimodality[J]. Journal of Electronics &Information Technology, 2025, 47(6): 1747-1761. [周维, 魏名安, 许海霞, 等. 基于多模态的小样本遥感影像地物分类模型[J]. 电子与信息学报, 2025, 47(6): 1747-1761.]

[4] Gidaris S, Komodakis N. Generating classification weights with GNN denoising autoencoders for few-shot learning[C]∥Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2019: 21-30.

[5] Velickovic P, Cucurull G, Casanova A, et al. Graph attention networks [PP/OL]. V1. arXiv (2017-10-30) [2025-10-04]. https:∥doi.org/10.48550/arXiv.1710.10903.

[6] Zhao Xiao, Yun Xiaosa, Liu Ruiling, et al. Small sample plant image classification based on wavelet multi-frequency feature fusion enhancement[J]. Computer Engineering and Applications, 2026,62(11):284-294.[赵晓, 贠潇洒, 刘睿玲, 等. 基于小波多频特征融合增强的小样本植物图像分类[J]. 计算机工程与应用, 2026,62(11):284-294.]

[7] Ge Xiaosan, Zheng Mengmeng. Study on classification of few-shot remote sensing images based on SER-GNN[J]. Journal of Henan Polytechnic University (Natural Science), 2025, 44(5): 144-151. [葛小三, 郑猛猛. 基于SER-GNN的小样本遥感影像分类研究[J]. 河南理工大学学报(自然科学版), 2025, 44(5): 144-151.]

[8] Shen Yu, Wang Ruoxuan, Li Jiangcheng, et al. A small-sample time series prediction model based on graph structure [J/OL]. Journal of Beihang University, 2025:1-14 (2025-07-18)[2025-07-29]. https:∥doi.org/10.13700/j.bh.1001-5965.2025.0198. [沈瑜,王若暄,李江柽,等.基于图结构的小样本时间序列预测模型[J/OL].北京航空航天大学学报, 2025:1-14(2025-07-18)[2025-07-29].https:∥doi.org/10.13700/j.bh.1001-5965.2025.0198.]

[9] Liang Zhuomin, Bai Liang, Yang Xian, et al. Multi-channel disentangled graph neural networks with different types of self-constraints[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025, 47(9): 8001-8012.

[10] Berge C. Hypergraphs: combinatorics of finite sets [M]. New York: Elsevier Science &Technology Books, 1984.

[11] Feng Yifan, You Haoxuan, Zhang Zizhao, et al. Hypergraph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 3558-3565.

[12] Bai Song, Zhang Feihu, Torr P H S. Hypergraph convolution and hypergraph attention[J]. Pattern Recognition, 2021, 110: 107637.

[13] Wu Yue, Wang Ying, Wang Xin, et al. Motif-based hypergraph convolution network for semi-supervised node classification on heterogeneous graph[J]. Chinese Journal of Computers, 2021, 44(11): 2248-2260. [吴越, 王英, 王鑫, 等. 基于超图卷积的异质网络半监督节点分类[J]. 计算机学报, 2021, 44(11): 2248-2260.]

[14] Jiang Jianwen, Wei Yuxuan, Feng Yifan, et al. Dynamic hypergraph neural networks[C]∥Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. International Joint Conferences on Artificial Intelligence Organization, 2019: 2635-2641.

[15] Feng Yifan, You Haoxuan, Zhang Zizhao, et al. Hypergraph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 3558-3565.

[16] Harrison D, Rubinfeld D L. Hedonic housing prices and the demand for clean air[J]. Journal of Environmental Economics and Management, 1978, 5(1): 81-102.

[17] Chen Jiandong, Liu Jialu, Qi Jie, et al. City- and county-level spatio-temporal energy consumption and efficiency datasets for China from 1997 to 2017[J]. Scientific Data, 2022, 9: 101.

[18] Zhai Mengxin, Zhou Yanling, Yu Hang. Few-shot text classification based on question-oriented prompt-tuning[J]. Application Research of Computers, 2025, 42(3): 708-713. [翟梦鑫, 周艳玲, 余杭. 基于问题导向式提示调优小样本文本分类[J]. 计算机应用研究, 2025, 42(3): 708-713.]

[19] Zhou Bin, Xian Hao, Qin Yijia, et al. Local prototype small sample classification model integrating mixed attention mechanism[J]. Journal of Frontiers of Computer Science and Technology, 2026,20(2):584-595.[周彬, 鲜浩, 秦艺嘉, 等. 融合混合注意力机制的局部原型小样本分类模型[J]. 计算机科学与探索, 2026,20(2):584-595.]

[20] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[PP/OL]. V4. arXiv (2017-02-22)[2025-10-04]. https:∥doi.org/10.48550/arXiv.1609.02907.

[21] Li Peiwen, Li Feijiang, Wang Jieting, et al. Clustering method for tabular data based on pretrained foundation models with synthetic data[J]. Journal of Computer Research and Development,2025,62(9):2139-2151.[李培文, 李飞江, 王婕婷, 等. 基于合成数据预训练基础模型的表格数据聚类方法[J]. 计算机研究与发展,2025,62(9):2139-2151.]

Few-shot Regression Model Based on Adaptive Multi-head Hypergraph Convolutional Network

WANG Mei1,2, YAN Zujia1, GAO Yatian1,2, GAO Juntao1,2

(1. School of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, China; 2. Heilongjiang Provincial Key Laboratory of Petroleum Big Data and Intelligent Analysis, Northeast Petroleum University, Daqing 163318, China)

Abstract:It was difficult to capture high-order interactions among multiple nodes by graph neural networks based on binary-edge structures, and static graph topologies were not adaptable to dynamic data distributions. To address these limitations, a few-shot regression model based on adaptive multi-head hypergraph convolutional networks (AM-HGCN) was proposed. In this model, feature similarity and topological structure were integrated through a dynamic hypergraph construction method, multi-scale hyperedges were generated using k_hop neighbors and k-nearest neighbors (k_NN) strategies to enable adaptive capture of feature interactions. Then, a multi-head hypergraph convolutional network was designed to extract heterogeneous features via parallel attention heads and fuse multi-granularity information through a dynamic gating mechanism to enhance expressive capability. Finally, a model-agnostic meta-learning framework was introduced to achieve rapid task adaptation through inner- and outer-loop optimization. Experiments were conducted on the Boston Housing, Energy Efficiency, IMDB, and MiniImageNet datasets. For structured datasets, AM-HGCN to outperform mainstream baseline models significantly in evaluation metrics, The coefficient of determination was 0.775, which verifies its effectiveness in modeling complex relationships. Ablation studies further demonstrated that the collaborative effect of dynamic hyperg raphs and multi-head attention mechanisms was crucial for the enhancement of few-shot regression performance, overall validating the effectiveness of the proposed method.

Keywords:few-shot learning; hypergraph; hypergraph convolutional neural network; multi head attention mechanism; meta-learning

中图分类号:TP301

文献标志码:A

doi:10.13705/j.issn.1671-6833.2026.02.003

收稿日期:2025-12-21;修订日期:2026-02-18

基金项目:国家自然科学基金资助项目(51774090, 62076234);黑龙江省科技创新基地项目(JD24A009);黑龙江省自然科学基金项目(LH2024F005);黑龙江省博士后科研启动金资助项目(LBH-Q20080)

作者简介:王梅(1976—),女,河北安国人,东北石油大学教授,博士,主要从事机器学习和智能油气田领域研究,E-mail:wangmei@nepu.edu.cn。

引用本文:王梅,闫祖嘉,高雅田,等.基于自适应多头超图卷积网络的小样本回归模型[J].郑州大学学报(工学版),2026,47(5):85-92.[Wang Mei, Yan Zujia, Gao Yatian,et al.Few-shot regression model based on adaptive multi-head hypergraph convolutional network[J].Journal of Zhengzhou University(Engineering Science), 2026,47(5):85-92.]

文章编号:1671-6833(2026)05-0085-08