毫无疑问，这是一个很简明而且很有趣的观察，但这并没有足够的意义，所以我需要思考这个观察在实际中有什么用途。 经过我的测试，我发现斯坦福的文章中GPT2在整个训练过程中，所有itertation所有for every-sample gradient都是clip过的。也就是说，至少在这一个实验上Abadi's clipping完全等价于computerized clipping。虽然后来的实验的确有输于SOTA的情况，但这已经说明了我的新方法有足够的价值：一个不需要调整cl... https://marco2hg4z.bloggerchest.com/14256065/not-known-factual-statements-about-英国论文代写