秦皇岛塑料管材生产线厂家 ICML2026 |SEER：自动增强+替换Patch，同期责罚噪声、至极、缺失、踱步偏移的新SOTA模子！

原文作家：公众号-时序大模子秦皇岛塑料管材生产线厂家

原文衔接：https://mp.weixin.qq.com/s/ZJfbE2OFeV9kZ6kBrLTsDg

雷峰网转载

本篇论文来自ICML2026，新前沿时序技能，针对时辰序列展望，提倡了名为SEER的Transformer鲁棒时序展望框架，次完了多类型低质地时序数据的统鲁棒建模。

著作信息

论文称呼：SEER:Transformer-based Robust Time Series Forecasting via Automated Patch Enhancement and Replacement

论文作家：Xiangfei Qiu、 Xvyuan Liu、 Tianen Shen、 Xingjian Wu、 Hanyin Cheng、 Bin Yang1 Jilin Hu

时辰序列展望是撑捏金融经济研判、灵巧交通诊疗、医疗健康监测、电力动力调控、环境征象预警等诸多关键域的中枢基础技能，的瑕瑜期时序展望恶果粗略为行业资源动态调配、风险提前预警、智能化有缱绻提供中枢数据撑捏，具备的学术探讨价值与工程落地价值。在时序展望模子迭代发展历程中，传统（RNN、LSTM、GRU）依赖串行迭代计较，存在长距离时序依赖捕捉能力弱、并行度低、老练率差的固有劣势；CNN类模子仅能聚焦局部邻域特征，法建模万古序关联；而传统线时序模子泛化能力不及，难以适配复杂非线时序场景。

连年来，基于Patch分块建模的Transformer时序模子凭借篡改的时序切割念念路，成为时序展望域的主流SOTA案，代表模子包含PatchTST、Triformer、Crossformer、xPatch等。这类模子的中枢势是破逐时辰步建模的局限，将连气儿完竣的万古序序列均匀切分为多少具备完竣局部语义的子序列分块，以Patch分块动作基础建模与Transformer输入单位，粗略捕捉长距离时序依赖关系，打破了传统时序模子的能瓶颈，大幅提高了老例生机数据场景下的展望精度。

尽管现存Patch时序模子在实验室生机数据集上融会异，但在真正工业传感、户外监测、开发汇集等落地场景中，时序数据的汇集、传输、存储全过程易受到外界环境干豫与开发硬件影响，险些法得到白净、劣势的生机时序数据，宽阔存在各样非生机质地劣势。这类低质地数据会产生多半语义残败、特征误会、信息的劣质时序分块，严重干豫模子特征学习与展望理，亦然现时鲁棒时序展望域亟待解决的中枢勤奋。

白噪声（White Noise）：主要开始于传感器硬件渺小抖动、环境电磁干豫、东说念主工记载瑕疵等随即因素，着力范例斯踱步，具备全域遮掩、固定例律、随即强的性情。白噪声会重迭在原始就怕序信号上，疲塌泛泛时序的波动限定与特征鸿沟，致模子法捕捉真正时序趋势，捏续裁减模子展望踏实；

至极值（Anomalies）：由开发突发故障、系统开动报错、端突发场景扰动等至极事件产生，融会为破碎单点至极或连气儿多段时序偏移，且真正展望场景中任何至极标注数据，属于监督劣质数据干豫。至极值会误会局部时序的数值踱步与变化限定，误模子学习乖张的时序特征关联，大幅提高展望瑕疵；

缺失值（Missing Values）：产生于数据传输中断、开发临时宕机、信号守秘、存储故障等场景，融会为部分时辰步时序数据空白。为统实验范例、贴真正场景处理逻辑，本文实验中统将缺失位置数值置0，该处理式会告成酿成局部时序语义空白、特征断层，糟蹋时序数据的连气儿与完竣，致局部Patch分块丧失有展望信息；

踱步偏移（Distribution Shift）：属于时序数据的隐劣势，时序数据的生成机制会随时辰、环境、开发工况的变化捏续演化，致同期序序列的不同分段着力不同的概率踱步，餍足。踱步偏移会酿成老练集与测试集踱步不致、模子域泛化能力失，是致模子在真正场景能骤降的中枢隐原因。

现存模子存在三大中枢劣势：

Patch建模机制僵化，枯竭动态自相宜能力：现时通盘主流Patch类时序模子均招揽固定静态的时序等分战略，将通盘时序分块判袂纳入模子前向传播过程秦皇岛塑料管材生产线厂家，全程不作念任何质地评估、筛选与化替换。这种刀切的静态建步地，法区分质有分块与劣质干豫分块，让多半含噪声、至极、缺失、偏移的劣质分块与质分块同等参与特征学习与展望理，捏续向模子传递负向梯度信号，严重干豫模子泛泛的特征拟过程，是模子在低质地数据场景失的中枢原因；

表征学习式单，抗干豫能力薄弱：传统Patch镶嵌式仅依赖单线投影层完成时序分块的令映射，仅能构建单固定的线表征空间，特征抒发维度单、语义丰富度不及。濒临真正场景复杂多变的时序扰动，单表征空间法有区分泛泛时序特征与噪声、至极等干豫特征，易出现特征污染问题，致模子法索要就怕序限定；

鲁棒联想通用差，落地局限强：现存鲁棒时序展望模子的化联想均为单场景定制化开发，仅能针对解决某类数据劣势，举例DUET模子注适配时序踱步偏移问题、Merlin模子侧重处理数据缺失问题，法同期兼容白噪声、至极值、缺失值、踱步偏移四类混劣质数据场景。而真正工业场景的时序劣势每每是多类型重迭出现，单鲁棒模子法适配复杂混扰动场景，大为止了模子的现实落地应用鸿沟。

针对上述现存模子的核肉痛点与行业落地勤奋，本文篡改提倡了SEER（Spatio-temporal Enhanced and Replacement framework）基于Transformer的通用鲁棒时序展望框架。

区别于传统静态Patch建模、单维度鲁棒化的联想念念路，SEER的中枢篡改逻辑为动态Patch特征增强+智能劣质分块全局替换，解脱了传统时序分块模子僵化固定的建范例式，通过双模块协同联想，同期完了时序特征的紧密化增强与劣质数据的自相宜成立，适配多类型低质地时序场景。

SEER全体革职“预处理降噪→特征增强→劣势成立→特征细化→展望输出”的层化联想逻辑，全体架构明晰、模块单干明确、适配强。

完竣理经过分为五大中枢层，递次为：数据归化预处理、双分支增强镶嵌模块（AEM）、可学习Patch替换鲁棒成立模块（LPRM）、多头自正经力全局特征细化、自相宜降维展望头。其中AEM模块讲求从泉源增强时序特征丰富度、构建全局质修收复型，LPRM模块讲求成立劣质时序劣势，两大可老练中枢模块协同配，共同撑捏模子的精度与强鲁棒。

任务界说

著作聚焦多变量时序展望这主流工业任务，给定包含N个特征通说念、T个历史时辰步的多变量历史时序数据（其中为时序特征通说念数，为模子固定回看时辰步长），模子通过度学习老练学习从历史时序到将来时序的非线映射函数，终展望将来连气儿F个时辰步的时序数据。

区别于老例时序展望任务，著作解决的鲁棒时序展望任务，专指在输入时序数据存在白噪声、数值至极、数据缺失、踱步偏移等各样真正劣势的前提下，已经保证模子展望的精度与踏实，打破现存模子劣化失的瓶颈。

前置预处理：实例归化

真正场景时序数据宽阔存在非沉稳问题，不同时期段、不同通说念的数据踱步各异较大，告成输入模子会致老练与测试数据踱步不致，严重影响模子管理果与泛化能力。因此本文在模子特征输入前，引入可逆实例归化操作对原始时序数据作念统预处理，通过范例化变换抹平数据踱步各异、摈斥非沉稳带来的建模干豫，同期保留可逆特保证展望恶果可，为后续特征增强、劣势成立与展望奠定均匀、踏实的数据基础。

增强镶嵌模块（AEM）—— 双分支表征构建

增强镶嵌模块（AEM）是SEER完了特征质化的基础模块，中枢联想念念路为双分支各异化表征构建秦皇岛塑料管材生产线厂家，包含增强块镶嵌（局部特征紧密化）与增强序列镶嵌（全局原型构建）两个并行分支。

其中局部分支讲求细化每个时序分块的细节语义、丰富局部特征维度，全局分支讲求聚全时序、全通说念的质信息，构建劣势的全局修收复型，为后续劣质分块替换成立提供质地基准，双分支互补，兼顾细节与全局。

增强块镶嵌

为适配Patch分块建范例式，模子先对完竣原始时序序列进行均匀切分，将维度为的时序数据重构为分块序列，其中为单个时序分块的长度，为全体时序切分后的分块总和量。为解决传统单线镶嵌表征单、特征区分度低的问题，本文遗弃传统固定映射式，引入MoE混机制构建多异构特征空间，完了分块特征的自相宜增强：

单线映射

MoE架构中包含多个立的收罗，每个本体是个立的线投影层，具备各异化的参数权重与特征映射逻辑。不同擅长索要不同类型的时序步地特征，粗略将原始分块数据映射到维度为的各异化庇荫特征空间，打破传统单空间的抒发局限，为后续特征融提供丰富的异构特征基础。

噪声门控路由机制

传统门控路由机制易出现老练不踏实、运用率低的问题，本文引入带斯噪声的随即门控机制，通过线变换结噪声扰动的式计较各分块对通盘的适配权重，再通过KeepTopK操作筛选出适配度的Top-k参与特征计较。该机制既保证了路由的疏淡、裁减计较冗余，又通过噪声扰动提高了老练踏实与特征表征各样，有避模子过拟。

多特征融

为兼顾通用时序步地与个化局部特征，本文招揽“分享+路由属”的融战略。个分享讲求索要通盘时序分块通用的基础时序限定，保证特征的普适；Top-k个路由属讲求证据各分块的有特征，索要个化、各异化的局部语义。两类特征加权融后输出终增强块表征，大幅丰富局部分块的特征语义，提高模子对复杂时序步地的拟能力。

增强序列镶嵌

仅依靠局部分块增强法成立已存在的劣质时序劣势，因此需要构建全局劣势的质序列令，动作后续劣质分块的替换成立基准。增强序列镶嵌分支的中枢标的，等于聚全时序、全通说念的有信息，过滤局部噪声与至极干豫，生成具备全局语义的修收复型：

通说念特征映射

全局中枢特征聚

先通过线映射将原始时序转变为通说念特征，再通过MLP完成特征升维变换，后招揽随即池化操作聚通盘通说念的全局有信息，过滤局部单点干豫，生成维度为的全局中枢原型令。该原型整了整条时序的变化限定，不含局部劣质劣势，是质地的成立基准特征。

序列原型维度对都扩张

由于全局单原型法适配多通说念时序的各异化特征，本文通过播送拼接的式将全局原型适配到每个特征通说念，塑料管材生产线再通过二层MLP完成维度对都与特征微调秦皇岛塑料管材生产线厂家，终身成与分块特征维度致、适配各通说念特的全局修收复型，为后续替换成立奠定维度基础。

可学习Patch替换模块——鲁棒中枢

可学习Patch替换模块（LPRM）是SEER完了强鲁棒的中枢关键，解决了传统模子法处理劣质时序分块的痛点。模块全体分为「自动令质地筛选」和「替换因果正经力特征成立」两个递进式阶段，中枢的联想亮点是全程招揽可微分计较逻辑，阴私了传统破碎筛选操作的梯度磨灭问题，保证模子粗略完了端到端的完竣老练，兼顾鲁棒与老练有。

自动令筛选

令质地评分与筛选掩码

该公式组是模子完了劣质分块智能识别的中枢。模子通过可学习的线层与Sigmoid激活函数，为每个增强后的分块令生成0-1区间的质地评分，评分越代表该分块有信息越充足、质地越。通过预设阈值完成劣分块分袂，同期引入梯度分离的恒等矩阵联想，解决了破碎筛选操作法回传梯度的行业勤奋，让筛选战略粗略镶嵌全体模子参与端到端化。

替换因果自正经力

梯度感知掩码生成

劣质令全局替换

基于梯度感知掩码完成的分块替换逻辑，完了质特征保留、劣质特征成立的双重果。当掩码值时，判定为质分块，保留原始增强特征；那时，判定为劣质分块，自动替换为对应通说念的全局质原型特征，从根源上剔除噪声、至极、缺失等劣质信息的干豫，补全局部语义空白。

多头因果正经力特征细化

完身分块替换后，模子将全局原型令拼接入时序序列前端，通过多头因果自正经力机制（MCSA）细化全局与局部特征关联。因果掩码的联想严格保证了时序展望的不行逆，即每个时辰步仅能怜惜历史时序信息与全局原型，法感知将来信息，既符时序展望的物理逻辑，又能让成立后的劣质分块融全局历史高下文，保留完竣的时序连气儿与位置语义。

全局特征融

通过老例多头自正经力机制（MSA）完周全局特征度融，向上拉近质局部分块、成立后分块与全局原型的特征关联，统全体时序特征踱步，摈斥替换成立后可能存在的特征断层问题，输出平滑、统、质地的全局时序特征。

展望输出模块

自相宜特征降维

终展望生成秦皇岛塑料管材生产线厂家

经过前文的特征增强与劣势成立后，时序特征维度较、存在多半冗余信息，告成展望会加多计较量、裁减理率。因此模子联想自相宜降维模块，通过线投影压缩特征维度、过滤冗余噪声信息，在保留中枢有特征的前提下完了模子轻量化。后通过特征展平与线映射，输出将来F个时辰步的终展望恶果，完成完竣的时序展望理经过。

实验数据

数据集体系：为考证模子的通用精度与鲁棒，搭建了三数据集考证体系，完了从老例生机场景、可控扰动场景到真正劣质场景的全遮掩。

为8大通用范例数据集，涵盖电力、征象、动力、交通四大主流时序域，用于考证模子老例展望精度；

二为4类成扰动数据集，通过东说念主为注入不同梯度的白噪声、至极值、缺失值、踱步偏移，可控考证模子的抗干豫能力；

三为8类真正低质地工业数据集，遮掩金融、传感、环境等真正复杂场景，用于考证模子的现实落地鲁棒；

基线模子全遮掩：为保阐述验恶果的与劝服力，中式2023-2025年时序展望域通盘主流SOTA模子动作对比基线，遮掩传统线模子、静态Patch模子、新式鲁棒模子三大类。

包含经典基线DLinear、PatchTST，以及连年能模子iTransformer、FredFormer，同期包含新鲁棒SOTA模子SRSNet、DUET、Amplifier、xPatch，完了全位横向能对标；

评估缱绻：针对多元时序展望任务，招揽行业通用的MSE（均瑕疵）、MAE（平均对瑕疵）动作中枢评估缱绻，量化展望偏差大小；针对元短无为序展望任务，招揽MASE（平均对标度瑕疵）、msMAPE（平均百分比瑕疵）评估模子泛化能力，多缱绻结保阐述验恶果客不雅；

统参建树：通盘模子统固定回看窗口长度为96，建树96/192/336/720四种主流展望步长，遮掩短、中、永久时序展望场景；统招揽NVIDIA Tesla-A800 GPU老练、ADAM化器、L1耗损函数，通盘实验环境、参对都，根除实验变量干豫，保证对比恶果的公说念有。

实验恶果

多元时序展望恶果：在全遮掩的参组与数据集测试中，SEER展现出碾压式的SOTA能，在45组中枢实验参数组中，34组赢得MSE值、39组赢得MAE值，全体率远通盘基线模子。

与2025年次SOTA模子xPatch比较，SEER完了MSE裁减7.3、MAE裁减4.9的显耀能提高。尤其在ETT电力这类非沉稳强、数据波动大的复杂时序数据集上，SEER的特征增强与劣势成立势被充分放大，能势为卓越；

元短无为序展望恶果：短无为序数据具备样本量少、波动随即强、展望不笃定、易过拟的性情，是时序展望的难点场景。

基于TFB基准的8068组真正短时波动时序完成测试，恶果暴露SEER的MASE、msMAPE缱绻于通盘基线模子。中枢原因是SEER的动态分块替换机制粗略有阴私短无为序的噪声干豫，扼制模子过拟，大幅提高短无为序的泛化展望能力。

鲁棒量化恶果

成梯度扰动场景恶果：本文通过注入0/1/5/10/15不同比例的扰动噪声，模拟不同进程的数据劣质化场景，测试模子鲁棒上限。

实验恶果标明，在白噪声、数值至极、数据缺失三类强干豫场景下，SEER的MSE、MAE瑕疵值均显耀低于通盘对比基线，抗干豫能力碾压传统模子与现存鲁棒模子；在踱步偏移这类隐非沉稳场景下，SEER与现时的非沉稳适配模子SRSNet能捏平，展现出强的隐劣势适配能力；

真正低质地场景恶果：东说念主为成扰动数据限定单、干豫轻便，法替代真正复杂场景。因此中式8类真执行业劣质数据集，遮掩缺失率、强踱步偏移、频至极、强环境噪声等端场景。

实验恶果讲明，SEER在通盘真正劣质场景中能稳居，粗略适配复杂混劣势干豫；SRSNet动作用鲁棒模子能次之，而DLinear、iTransformer等传统模子在真正劣质场景下能大幅跳水，鲁棒差，充分考证了SEER的工程落地价值。

消融实验与参数明锐模块消融实验

移除MoE机制：去除多异构表征模块后，模子退化为传统单线镶嵌步地，特征抒发维度单、法拟复杂时序步地。在ETTh2、ETTm2等复杂非沉稳时序数据集上，模子MSE与MAE瑕疵显耀上涨，能大幅下降。这充分讲明MoE混机制粗略有构建各样化异构特征空间，丰富时序语义信息，是提高模子特征抒发能力、适配复杂时序的中枢基础；

简化全局序列镶嵌：将本文自相宜质全局原型替换为传统轻便MLP序列镶嵌后，模子法生成质地、劣势的全局成立特征，劣质分块替换机制失。在各样低质地数据集上模子能出现断崖式下降，讲明质地全局序列原型是劣质分块成立的中枢前提，通说念自相宜感知与全局聚机制对模子鲁棒起到决定撑捏作用；

移除令筛选模块：取消分块质地评分与筛选机制后，模子判袂保留通盘质、劣质分块，多半含噪声、至极、缺失的干豫分块参与展望理，捏续引入负向特征干豫。在噪声、强非沉稳的劣质数据集上模子能急剧下降，充分考证了动态令筛选机制粗略有剔除负向干豫，是保险模子鲁棒的关键中枢步骤；

移除特征降维模块：取消自相宜特征压缩后，模子特征维度冗余、参数目大幅加多，特征中残留多半噪声与冗余信息，不仅提高了计较复杂度、裁减理速率，还致展望精度全体下降。讲明自相宜特征降维不仅粗略完了模子轻量化、提高理率，还能过滤冗余噪声、高超中枢特征，正向助力模子展望能提高。

参明锐分析

MoE数目：实验测试不同数目的模子能，恶果暴露数目建树为8时，模子在所非常据集上综能。数目过少会致异构特征空间不及、特征抒发单；数目过多会酿成参数目冗余、模子过拟，出现能下降问题；

Patch分块长度：分块长度是Patch建模的中枢参，实考讲明16、24为区间。分块长渡过短会致单个分块时序信息不及，丢失局部时序关联；分块长渡过长会引入过多冗余噪声信息，糟蹋局部语义纯度，均会致模子能劣化；

特征降维比例：降维比例为0.5、0.75时模子综能，该比例粗略均衡特征完竣与模子轻量化进程。降维比例过大会压缩丢失中枢有特征，比例过小法完了冗余信息过滤与模子瘦身；

令评分阈值：阈值的取值与数据质地强商量，低质地、扰动数据集需要建树非阈值，主动剔除劣质干豫分块，提高鲁棒；Solar这类质地白净数据集弥散干豫，阈值建树为0可完竣保留通盘有特征，大化展望精度，该特让模子具备强的场景自相宜能力。

小小归来

著作提倡了名为SEER的Transformer鲁棒时辰序列展望框架，针对现存基于分块的时序展望模子法动态筛选分块、在含缺失值、踱步偏移、至极值与白噪声的低质地数据上展望鲁棒不及的问题，联想了增强镶嵌模块与可学习分块替换模块两大中枢组件：

前者通过混架构丰富分块表征，并借助通说念自相宜感知机制生周全局序列令；后者通过两阶段经过先动态识别并剔除含信息的劣质分块，再用全局序列令替换劣质分块并通过因果正经力机制化表征，终在多个通用时序数据集上赢得了 SOTA 展望精度，同期在四类低质地数据场景下展现出显耀于现存基线模子的鲁棒。

电话：0316--3233399相关词条:铁皮保温施工     隔热条设备     锚索    离心玻璃棉    万能胶生产厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定秦皇岛塑料管材生产线厂家，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。