全文链接：https://tecdat.cn/?p=38195

本文提出一种混合深度学习模型来预测股票价格。与传统的混合预测模型不同，本文所提模型将时间序列模型ARIMA与神经网络以非线性关系进行整合，结合了这两种基础模型的优势，提高了预测精度。首先通过ARIMA对股票数据进行预处理，经过ARIMA（p = 2，q = 0，d = 1）预处理后，将股票序列输入神经网络（NN）或XGBoost。然后采用预训练 - 微调框架所形成的深度学习架构。预训练模型是基于序列到序列框架的基于注意力机制的CNN-LSTM模型，其中基于注意力机制的CNN作为编码器，双向LSTM作为解码器。该模型首先利用卷积操作提取原始股票数据的深层特征，然后利用长短期记忆网络挖掘长期时间序列特征，最后采用XGBoost模型进行微调，从而能够充分挖掘多个时期的股票市场信息。我们所提出的基于注意力机制的CNN-LSTM与XGBoost混合模型简称为AttCLX。结果表明，该模型更为有效，预测精度相对较高，能够帮助投资者或机构做出决策，实现扩大收益和规避风险的目的。

基于序列数据的深度学习

（一）基本前馈神经网络（FFNN）

在基本前馈神经网络（FFNN）中，当前时刻的输出仅由当前时刻的输入决定，这限制了FFNN对时序数据进行建模的能力。

（二）循环神经网络（RNN）

在循环神经网络（RNN）中，通过一个延迟来保存上一时刻的潜在状态，然后当前时刻的潜在状态由上一时刻的潜在状态和当前时刻的输入共同决定。如图所示，有研究指出，随着误差在时间维度上传播，RNN可能会出现梯度消失的情况，这就导致了长期依赖问题。

（三）长短期记忆（LSTM）模型

人类能够有选择性地记住信息。通过门控激活函数，长短期记忆（LSTM）模型能够有选择性地记住更新后的信息并忘记累积的信息。

（四）序列到序列（seq2seq）模型

序列到序列（seq2seq）模型采用自动编码器（即编码器 - 解码器架构）来分析时序数据。序列到序列模型是通过编码器 - 解码器架构构建的，这增强了LSTM通过含噪数据学习隐藏信息的能力。在seq2seq模型中，编码器是一个将输入编码到上下文（通常是最后一个隐藏状态）的LSTM，然后在解码器中对上下文进行解码。在解码器中，上一时刻的输出作为下一时刻的输入。

为了优化解码后的序列，在seq2seq模型中采用了束搜索方法。束搜索和隐马尔可夫模型（HMM）中的维特比算法都是基于动态规划的。根据观测值和先前状态来求解当前状态的最优估计，在HMM中被称为解码或推理。分别求解(p(x_{k}|y_{1:k}))和(p(x_{k}|y_{1:N}))等同于HMM中的前向 - 后向算法。通过(x_{k})的分布可以得到最优的双向估计。这就是提出双向LSTM（结合了前向和后向）的概率视角。

注意力机制

（一）注意力机制原理

人类通常会关注显著信息。注意力机制是一种基于人类认知系统的深度学习技术。对于输入(X=(x_{1};x_{2};\cdots;x_{N}))，给定查询向量(q)，通过注意力(z = 1;2;\cdots;N)来描述所选信息的索引，然后得到注意力的分布。

在这里，通过缩放点积得到的是注意力得分，(d)是输入的维度。假设输入的键值对((K;V)=[(k_{1};v_{1});\cdots;(k_{N};v_{N})])，对于给定的(q)，注意力函数如下：

（二）多头机制

通常采用多查询(Q = [q_{1};\cdots;q_{M}])来进行注意力函数的计算。

这里，“jj”表示拼接操作。这就是所谓的多头注意力（MHA）。注意力机制可以用来生成由数据驱动的不同权重。在这里，(Q)、(K)、(V)都是通过对(X)进行线性变换得到的，并且(WQ)、(WK)、(WV)可以动态调整。

这就是所谓的自注意力。类似地，输出如下：

因此，采用缩放点积得分后，输出如下：

方法

（一）预处理

本文提出一种混合深度学习模型来预测股票价格。与传统的混合预测模型不同，所提模型将时间序列模型ARIMA与神经网络以非线性关系进行整合，结合了两者的优势，提高了预测精度。首先通过ARIMA对股票数据进行预处理。将原始股票市场数据输入ARIMA，能够输出一个更有效地描述状态的新序列。

通过对原始序列和一阶差分序列进行ADF检验的结果表明，原始序列是非平稳的，一阶差分序列是平稳的。在确定(d = 1)后，我们需要确定ARIMA中的(AR(p))和(MA(q))。我们利用自相关图（ACF）和偏自相关图（PACF）来确定。原始序列和一阶差分序列的ACF和PACF如图所示

图显示当阶数为2时，PACF截断，这意味着我们应该采用(AR(2))；而ACF对于任何阶数都有长尾，这意味着我们应该采用(MA(0))。所以(p = 2)，(q = 0)。

（二）预训练

然后，采用预训练 - 微调框架所形成的深度学习架构。预训练模型是基于序列到序列框架的基于注意力机制的CNN-LSTM模型，其中基于注意力机制的CNN作为编码器，双向LSTM作为解码器。该模型首先利用卷积操作提取原始股票数据的深层特征，然后利用长短期记忆网络挖掘长期时间序列特征。

以下是一段用于展示一阶差分和二阶差分情况的代码示例：

# 计算一阶差分training\_set\['diff\_1'\] = training_set\['close'\].diff(1)plt.figure(figsize=(10, 6))training\_set\['diff\_1'\].plot()plt.title('一阶差分')plt.xlabel('时间', fontsize=12, verticalalignment='top')plt.ylabel('diff_1', fontsize=14, horizontalalignment='center')plt.show()# 计算二阶差分training\_set\['diff\_2'\] = training\_set\['diff\_1'\].diff(1)plt.figure(figsize=(10, 6))training\_set\['diff\_2'\].plot()plt.title('二阶差分')plt.xlabel('时间', fontsize=12, verticalalignment='top')plt.ylabel('diff_2', fontsize=14, horizontalalignment='center')plt.show()

在上述代码中，首先通过diff函数计算了股票数据中收盘价的一阶差分，并将结果存储在training_set['diff_1']中，然后绘制了一阶差分的图像并设置了相关的图像标题、坐标轴标签等。接着又计算了一阶差分的二阶差分，并进行了类似的图像绘制操作。这些操作有助于我们更直观地观察股票数据在差分处理后的变化情况。

基于深度学习的编码器 - 解码器架构中，seq2seq能够更有效地描绘状态的隐藏信息，但不满足股价线性特性假设。基于注意力机制的CNN（ACNN）编码器由自注意力层和CNN组成，这就是LSTM解码器块的输入。编码器 - 解码器层描述了当前序列与先前序列之间的关系以及当前序列与嵌入之间的关系。编码器仍然采用多头机制。当对第(k)个嵌入进行解码时，只能看到第(k - 1)个和之前的解码情况。这种多头机制就是掩码多头注意力。

基于注意力机制的CNN（ACNN）能够捕捉LSTM可能无法捕捉的全局和局部依赖关系，从而增强了模型的鲁棒性。在我们所提出的编码器 - 解码器框架中，可以采用ACNN - LSTM结构。在人类认知系统中，注意力通常在记忆之前。ACNN能够捕捉长期依赖关系的原因在于它集成了多头自注意力和卷积。结合LSTM和ACNN能够增强结构优势以及对时序数据建模的能力。通过集成多头注意力和多尺度卷积核，ACNN编码器能够捕捉到LSTM可能无法捕捉的显著特征，而LSTM能够更好地描绘时序数据的特性。

（三）微调

在解码之后，通过一个XGBoost回归器来获得输出，以便进行精确的特征提取和微调。我们所提出的基于注意力机制的CNN-LSTM与XGBoost混合模型简称为AttCLX，其示意图如图所示

作为微调模型，XGBoost具有很强的扩展性和灵活性