こんにちは、タイトルの通り「生物学的に妥当な誤差逆伝播法」の分野で、具体的に提案されている手法を紹介していきます。ちなみに概要的な話はここに書いてあります。tripdancer0916.hatenablog.com 今回紹介するのはFeedback Alignmentという手法で、2016…

こんにちは、機械学習の研究分野の中でニッチながらも少しずつ知名度をあげてきている分野、"biologically plausible backpropagation"（日本語に直訳すると『生物学的に妥当な誤差逆伝播法』）についてこれから何回かに分けて記事を書いていきます。初回は…

概要 kerasで知識の蒸留（knowledge distillation）を実装する際結構ハマったので備忘録も兼ねてポイントを整理します。ちなみにsoft targetをあらかじめ計算しておくやり方であればそんなに難しくないのですが、Imagedatageneratorとfit_generatorを使って…

こんにちは、Born Again Neural Networksというknowledge distillation系の論文で面白いものがあったのでそれを紹介していきます。 一部再現したコードをgithubにあげています。 github.com ちなみにknowledge distillation(KD)については分かりやすい解説記…