概要 kerasで知識の蒸留（knowledge distillation）を実装する際結構ハマったので備忘録も兼ねてポイントを整理します。ちなみにsoft targetをあらかじめ計算しておくやり方であればそんなに難しくないのですが、Imagedatageneratorとfit_generatorを使って…

こんにちは、Born Again Neural Networksというknowledge distillation系の論文で面白いものがあったのでそれを紹介していきます。 一部再現したコードをgithubにあげています。 github.com ちなみにknowledge distillation(KD)については分かりやすい解説記…