根据海量用户行为序列数据自监督、多模异构Encoder-Adapter-LLM Decoder架构、Q-former语义空间和事务空间常识对齐、立异多标准时序处理机制、多用户运营场景后练习、精准捕捉用户事务级浅层语义。

  跟着电信商场浸透率趋近饱满，存量用户价值发掘与用户留存成为运营商中心战略。

  以往，运营商凭借传统机器学习的办法学习用户行为，但受制于模型体量，猜测精度上的瓶颈一天比一天杰出。而不同于老练的互联网引荐场景下的用户行为建模，电信场景的特别性体现在：

  用户要害决议计划行为（如套餐改变、携号转网）更多受长时刻服务体会驱动（如网络稳定性、资费合理性等），与互联网场景的短期爱好驱动机制构成实质差异。

  该决议计划特征使得传统序列建模办法中根据近期行为的采样战略面对应战，直接使用或许会引起要害前史信息丢掉，丢失猜测精度。

  与互联网场景中常见的以前史用户-产品交互序列为根底，猜测用户下一段时刻内的产品交互为方针不同，电信用户的数据输入与猜测方针有显着的异质特性，体现在：

  时刻粒度层次性：包含秒级（如实时信令）、日级（如事务处理）、月级（如账单）等多个标准；

  1、跨时刻标准建模缺少：当时序列建模办法短少有用的时刻处理机制，以捕捉用户跨日、周、月等多时刻标准下用户的长时刻行为演化形式；

  2、多模异构数据表征限制：当时互联网引荐技能常凭借产品的文本描绘，难以充沛的使用电信范畴异构数据模态丰厚的特色强化用户表征才能，直接使用存在异构空间对齐问题；

  3、方针别离严峻：电信范畴现有计划一般对丢失预警、套餐晋级猜测等运营使命独立建模，功率低下，缺少一致模型架构提取和方针愈加有用相关的用户表征。

  GTS-LUM根据多层级时刻区分交融语义战略，经过构建“时段-周期”语义描绘优化用户行为序列建模。

  详细而言，根底层级将每日区分为若干典型时刻区间（如早顶峰、午间时段等）；并在周期层级叠加工作日/周末的周级维度特征，构成对用户行为产生事情的复合语义描绘。然后将用户行为依照指定时刻切片规模做处理会聚。

  针对同一时刻切片的用户行为，安排序列时，在开始端嵌入对应的时段-周期语义描绘，并在序列结尾增加特别分隔符[SEP]作为行为片段的鸿沟标识。

  该规划经过粗粒度事务时刻特征与细粒度行为方位联系的协同建模，构成具有时刻感知才能的用户行为序列。

  GTS-LUM构建了多模态协同的用户行为嵌入结构，精准捕捉用户事务级浅层语义。

  在语义特征维度，经过任一时刻切片内对用户和产品/方位/途径的交互行为做处理会聚得到“一句话”描绘，然后根据预练习言语模型取得文本向量嵌入，并在语义空间履行谱聚类，然后提取可解释的行为语义编码。

  在事务特征维度，选用Node2Vec算法对用户-用户交互等图数据及TableGPT2结构对终端设备、地理方位等特点维表做处理，生成多模态事务嵌入向量。

  经过穿插注意力层主动挑选与当时语义最相关的多模态事务特征，并凭借同享的自注意力层构建事务特征空间和语义空间的潜在映射联系，最终经过比照学习使命完成跨模态常识对齐。

  值得注意的是，论文中立异性地为Q-Former引入了额定练习使命，包含序列片段-文本匹配、序列片段-文本比照学习和序列片段-文本生成，使其兼具多模态对齐器与用户长时刻爱好压缩器的两层功用。

  GTS-LUM逐渐优化了用户表征学习进程，经过方针感知建模杰出了与使命场景最相关的前史行为。

  不同于传统引荐模型的方针后置范式，GTS-LUM将猜测标签前置于行为序列开始方位，使用LLM的因果注意力机制完成双阶段优化：

  在注意力核算阶段，方针标签作为先验条件动态调整前史行为的注意力权重散布；在表征生成阶段，根据Decoder的自回归架构完成渐进式特征优化，经过多步解码进程迭代调整用户表征向量。

  在某省级运营商线w左右用户数据量在Ascend 910B2 NPU上进行练习和推理，试验成果为GTS-LUM体现亮眼。

  成果表明，虽然典型引荐模型在试验室数据中体现杰出，但在具有范畴特定复杂性的工业级数据集上会呈现明显的功能下降。

  详细而言，GTS-LUM比较Meta@HSTU计划均匀提高107.86%，比较ByteDance@HLLM计划提高31.38%，这些改善凸显了交融多模态输入的重要性，以及将敞开世界常识与特定事务常识对齐的必要性。