こんにちは、タイトルの通り「生物学的に妥当な誤差逆伝播法」の分野で、具体的に提案されている手法を紹介していきます。ちなみに概要的な話はここに書いてあります。tripdancer0916.hatenablog.com 今回紹介するのはFeedback Alignmentという手法で、2016…

こんにちは、機械学習の研究分野の中でニッチながらも少しずつ知名度をあげてきている分野、"biologically plausible backpropagation"（日本語に直訳すると『生物学的に妥当な誤差逆伝播法』）についてこれから何回かに分けて記事を書いていきます。初回は…

こんにちは、Born Again Neural Networksというknowledge distillation系の論文で面白いものがあったのでそれを紹介していきます。 一部再現したコードをgithubにあげています。 github.com ちなみにknowledge distillation(KD)については分かりやすい解説記…

複雑系の理論でよく使われる言葉に「創発」がある。 あるシステム全体の挙動がそのシステムの構成要素個々の振る舞いの単純な総和としては理解できないような現象、という風に理解している。構成要素は単純な振る舞いしか示さないのに、全体としてはとても複…