好像周记更新断掉了,为什么呢
实际上主包这几周精神有点崩溃了,主要是怎么都调不好参,总是差那么一点稳定性,百思不得其解,也搞挺久的了
结果前几天老师跟我说你别把问题搞复杂了,ai本质上就是个很黑盒的东西,不用管什么梯度方向之类的
于是我把pcgrad梯度投影机制删掉了,这是我唯一没有怀疑过的地方,听起来就很合理而且还是顶会什么的,而且我的任务之间类别都比较接近,而且初期参没调好的时候就是靠这个实现稳定的,综上所述让人觉得非常靠谱,从不敢删掉,结果一尝试,自己就笑嘻了
训练后期就立刻稳了不少,
似乎还是太容易一叶障目了