Python和Lag-Llama金融时序预测收益率零样本与微调对比回测实证研究|附代码数据

全文链接：https://tecdat.cn/?p=45189原文出处： 拓端数据部落公众号

关于分析师

在此对Dawei Zhou对本文所作的贡献表示诚挚感谢。Dawei Zhou在麦吉尔大学完成了计算机科学与统计专业的本科学位，专注金融科技与数理统计领域。擅长Python、R、SQL、C、Stata、Wind数据分析软件，专注于金融、数理统计领域。

近期，人工智能领域的“基础模型”革命，从自然语言处理（如GPT系列）到计算机视觉（如SAM），展现出了强大的零样本与少样本学习能力，这为我们解决上述难题提供了全新的思路。然而，当我们将目光投向以噪声大、非平稳著称的金融时间序列时，这些“通才”模型是否依然能打？它们能否直接应用于股票收益率预测，并指导真实的交易决策？

带着这些疑问，我们团队在一个内部研发项目中，对专为时间序列预测设计的基础模型——Lag-Llama进行了深度测试。我们将Lag-Llama比喻为一个已经阅读过海量不同类型时间序列数据（如电力、交通、天气）的“实习生”，现在直接将其派往金融领域“上岗”（零样本预测），观察其表现。结果发现，这位“实习生”的初试成绩并不理想。随后，我们通过少量的金融数据对其进行“岗前培训”（微调），其预测能力和交易策略表现均得到了显著提升。

阅读原文获取完整代码数据及更多最新AI见解和行业洞察，可与900+行业人士交流成长；还提供人工答疑，拆解核心原理、代码逻辑与业务适配思路，帮大家既懂怎么做，也懂为什么这么做；遇代码运行问题，更能享24小时调试支持。

下图概括了本次从理论探索到实践验证的完整流程：

         数据获取 ────► 数据预处理 ────► 零样本预测 ────► 回测评估              │                                             │              └───────────── 发现效果不佳 ──────────────────┘                                            │                                            ▼                                      ┌─────────────┐                                      │ 模型微调迭代 │                                      └─────────────┘                                            │                                            ▼                              ┌───────────────┴───────────────┐                              ▼                               ▼                        微调后预测 ────► 回测评估 ────► 对比分析，验证微调有效性

1. 金融时序预测的新挑战与Lag-Llama模型的引入

近年来，基础模型在机器学习的多个领域引发了革命，尤其是在自然语言处理和计算机视觉领域，它们展现出了强大的零样本和小样本泛化能力。然而，在时间序列预测，特别是金融数据预测领域，这些模型的应用仍面临巨大挑战。金融数据固有的高噪声和非平稳特性，使得任何预测模型的泛化能力都备受考验。

Lag-Llama模型简介

为了解决时间序列的泛化难题，研究人员提出了一种名为Lag-Llama的基础模型，专门用于单变量概率时间序列预测。Lag-Llama采用解码器仅含变换器的架构，其核心创新在于引入滞后值作为协变量，从而有效地捕捉时间序列数据中的时间依赖性。

如下图所示，Lag-Llama通过处理过去多个时间步的滞后特征，学习输出下一个时间步取值的概率分布。

模型的输入是单变量时间序列在特定时间步的标记值。为了增强预测能力，模型还会结合多种协变量，包括一组预定义的滞后值、日期时间特征以及序列的统计摘要。这些输入经过多层掩码解码器投影后，传递给分布头，从而预测下一个时间步的分布参数。

Lag-Llama的强大之处在于其稳健的预训练方法。它利用了一个跨多个领域的大规模时间序列语料库进行预训练，从而捕捉了丰富的、通用的时序模式，这使得它具备了强大的零样本泛化能力。

相关文章

DeepSeek、LangGraph和Python融合LSTM、RF、XGBoost、LR多模型预测NFLX股票涨跌|附完整代码数据

原文链接：https://tecdat.cn/?p=44060

接下来，我们将通过实际案例，检验Lag-Llama在预测科技巨头股票收益率方面的表现。我们将从零样本预测开始，然后通过微调进行优化，并最终通过回测来评估其在真实交易中的价值。

阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

2. 零样本预测实战

首先，我们在云端计算平台进行环境配置与模型部署。

# 定义一个函数，用于生成预测结果def _obtain_forecasts(data, pred_len, n_samples=100):    # 加载预训练权重    checkpoint = torch.load("lag-llama.ckpt", map_location=torch.device("cuda:0"))    model_params = checkpoint["hyper_parameters"]["model_kwargs"]    # 初始化Lag-Llama估计器    estimator = LagLlamaEstimator(        ckpt_path="lag-llama.ckpt",        prediction_length=pred_len,        context_length=32,               # 使用预训练时的上下文长度        input_size=model_params["input_size"],        n_layer=model_params["n_layer"],        n_embd_per_head=model_params["n_embd_per_head"],        n_head=model_params["n_head"],        scaling=model_params["scaling"],        time_feat=model_params["time_feat"],        batch_size=1,        num_parallel_samples=n_samples,    )    # ...... (此处省略了构建预测器、生成预测的完整代码，该部分涉及模型加载与预测流程的细节)    # 返回预测结果列表和实际时间序列列表    return forecasts, actual_series

# 执行零样本预测forecasts, actuals = _obtain_forecasts(backtest_data, forecast_horizon, sample_size)

从上图可以看出，零样本预测下，模型对实际收益率的拟合程度较为一般。若将其转换为累积收益（即损益），偏差则更为明显。

阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

3. 回测验证与微调优化

为了评估模型的真实交易价值，我们采用滚动窗口方法进行回测。在每个季度初，根据模型对下一季度收益率的预测来调整投资组合权重。具体规则为：若某资产预测累积收益为正，则买入；若为负，则卖空。最终将所有头寸的绝对值之和缩放至1。回测过程中考虑了交易佣金和卖空费用。

零样本策略的回测结果令人失望：

虽然该策略在部分下跌趋势中避免了损失，但在整体上涨趋势中却录得亏损。

这表明，直接应用预训练的Lag-Llama进行零样本金融预测，效果并不理想。因此，我们尝试对其进行微调，以适应金融数据的特性。

# 配置微调参数finetune_estimator = LagLlamaEstimator(    ckpt_path="lag-llama.ckpt",    prediction_length=forecast_horizon,    context_length=32,    nonnegative_pred_samples=True,  # 确保预测样本非负（对于收益率预测不适用，此处仅为示例）    aug_prob=0,                     # 关闭数据增强    lr=5e-4,                        # 设置学习率    input_size=model_params["input_size"],    n_layer=model_params["n_layer"],    n_embd_per_head=model_params["n_embd_per_head"],    n_head=model_params["n_head"],    time_feat=model_params["time_feat"],    batch_size=64,    num_parallel_samples=sample_size,    trainer_kwargs={"max_epochs": 50},  # 训练50个周期)# ...... (此处省略了模型训练的完整代码，该部分涉及数据加载、训练循环等细节)

# 对剩余数据进行预测test_dataset = _prepare_dataset(return_df.iloc[252*5:])forecasts_ft, actuals_ft = _obtain_forecasts_finetuned(test_dataset, forecast_horizon, sample_size, predictor=fine_tuned_predictor)

微调后，预测结果与实际收益率的拟合度显著提升。

对应的累积收益预测也更为准确。

阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

再次进行回测，策略表现焕然一新：

通过简单的微调，Lag-Llama模型在金融数据上的预测能力得到了大幅提升，其生成的交易策略也展现了更优的收益风险特征。

4. 结论与展望

通过本次实战探索，我们得出以下结论：即使是专为时间序列设计的基础模型Lag-Llama，在金融预测这一高度复杂的任务上也难以通过零样本方式直接奏效。然而，通过少量的特定领域数据进行微调，模型的性能可以得到质的飞跃，其预测结果能够用于构建有效的交易策略。

当然，这仅仅是开始。未来的优化方向包括：更精细的超参数搜索、考虑波动率结构的分段建模、结合强化学习进行数据清洗和去噪、以及策略层面的优化和交叉验证等。这为我们打开了通往更智能、更鲁棒的量化交易系统的大门。

注：本文不构成任何投资建议。文中所提及的任何具体投资机会均仅作为教学材料。投资始终伴随金融风险，读者在做出任何投资决策前，应自行进行充分调研或咨询持牌财务顾问。

扫描下面二维码即可加群！ 

点击文末“阅读原文”

获取完整智能体、

代码、数据和文档。