天池比赛:津南数字制造算法挑战赛【赛场一】
- 我的 github 和 博客:
github:https://github.com/BluesChang
博客:https://blueschang.github.io
- 队友 taoyafan 的 github 和 博客:
github: https://github.com/taoyafan
博客: https://me.csdn.net/taoyafan
- 系统
ubuntu 16.04
- python 版本
python 3.5 或以上
- 需要的库
numpy, pandas, lightgbm, xgboost, sklearn
包括初赛和复赛,初赛中包括本地最终程序(.ipynb)、提交的程序(.py)和 历史程序。
建议看本地最终程序,里面标题、注释和输出都比较全,方便阅读。
提交的程序为本地程序转成.py格式,然后稍加改善(main函数、结构、路径、输入约束等),介绍可以看里面的readme。
历史程序里面都是记录了我学习的历程。
- 程序思路:
读取数 -> 手动处理训练集明显异常数据 -> 数据清洗 -> 特征工程 -> 训练
数据清洗:
删除缺失率过高的数据 -> 处理字符时间(段) -> 计算时间差 -> 处理异常值 -> 删除单一类别占比过大的特征
特征工程:
构建新特征 -> 利用特征之间的相关性预测 nan 值 -> 后向特征选择
训练:
使用 lgb 和 xgb 自动选择最优参数, 然后融合
- 数据通路:
数据读取得到 train, test ----> 合并得到 full ---> 经过 pipe line 得到 pipe_data ---> 训练集测试集分割得到 X_train 和 X_test ---> 训练得到结果 oof 和 predictions
在复赛的一级目录下还需要 data 和 result 文件夹,分别放训练、测试数据和最终生成结果,最终生成的结果文件名为:测试名_模型名_结果_特征数量_时间.csv(提交的程序按照官方要求命名)
复赛内容包括收率预测和最优参数生成。
-
收率预测:
与初赛类似,但有所改动,改动如下:
(1)最终异常数据并没有用其他特征来预测,只是简单的改变为缺失值,最后发现效果甚至好于用其他特征预测。
(2)未使用 id 特征。
(3)经过多次特征选择最终决定用 9 个特征,因此略去了特征选择的过程。
-
最优参数生成:
测试了两种方法,并最终采用粒子群算法:
(1)梯度下降:通过数值方法计算每个特征的梯度,然后按照梯度下降的方法更新参数,但是最终发现梯度下降对于树模型基本没用,猜测因为特征略微改变后不影响分裂后的结果,因此大部分时候梯度为 0。
(2)粒子群算法:每个粒子代表一组参数,优化目标为最优参数,寻找最优的粒子。并测试了不同的参数,确保找到最优的参数。
复赛.ipynb 为本地程序,包括包括收率预测和最优参数生成。
文件夹“津南数字制造算法挑战赛+17+Drop”为最终提交的复赛程序,不包括最优参数生成,只包括收率预测。