递归神经网络-序列,文本
全连接不能考虑语序
递归可考虑序列
the(t1) cat(t2) eat the mouse```(tn)时间步
RNN:
梯度消失:参数不能更新
LSTM:RNN的变体
v为矩阵变换后的输入
缓解梯度消失的问题,处理长度比较长的序列
输入是序列,输出也是序列
只拿最后一个时间步的输出去预测
确保数据的形状是正确的,以便在 RNN 中使用
# Data is to be fed into RNN - ensure that the actual data is of size [batch size, sequence length, 1]
X_train =X_train.reshape(-1,SEQ_LEN,1) ##TODO## : Reshape the data to fit an RNN
X_test =X_test.reshape(-1,SEQ_LEN,1) ##TODO## : Reshape the data to fit an RNN
可视化:PCS TSNE
翻译大多通过神经网络实现,CRF out
循环神经网络解决解码器编码器(序列 to 序列)
zzz