leonhx / ai-challenge-stock-prediction

https://challenger.ai/competition/trendsense

虚拟股票趋势预测

比赛网站：https://challenger.ai/competition/trendsense

TODO

1. experiment接口：https://mp.weixin.qq.com/s/qGe37OY_Iy9Qr9Rabpv7CA
2. 尝试PyTorch
3. 实现交叉验证
4. group字段做embedding
5. 加上tensorboard summary打点
6. 结果的稳定性（数据量小）：检查各个era上的测试指标，或者检查交叉验证结果

思路

1. 聚类
2. group和era字段应该都比较重要，尤其是group字段（测试集里也有此字段）
3. 特征可能是时序的
4. pseudo labeling
5. RNN
6. Attention
7. CNN底层特征 + RNN
8. DenseNet (Densely Connected Convolutional Networks，ResNet的求和换成concat)
9. Bottleneck (of CNN, mentioned in fastai course before,上面那篇论文里也用到了，好像是1 * 1卷积、减少维数、增加filter数量)
10. TensorBoard监控中间隐藏层的值、梯度，看是否需要加batch norm
11. 最后不要dense layer，直接global average pooling试试看

小数据集上结果的稳定性

1. Dropout
2. CNN如果在最后不要dense layer、直接global average pooling的话，试试先在这些filters上面做dropout
3. Bagging
4. Contractive AutoEncoder预训练 + 微调
5. VAE预训练 + 微调
6. Jacobian矩阵F范数作为正则项
7. CAE + VAE
8. 原始数据加入噪声（目的：Data Augmentation或者提高模型鲁棒性）
9. 权重加噪声
10. 加入group字段时，最好在没有加这个字段的基础上微调
11. 贝叶斯模型在小数据集上表现比较好
12. 置信区间比点估计好
13. 论文：Training Neural Networks with Very Little Data -- A Draft