AIエンジニアの探求

計算論的神経科学で博士号取得後、AIエンジニアとして活動中。LLMの活用や脳とAIの関係などについて記事を書きます。

2020-01-01から1年間の記事一覧

【論文まとめ】Learning Credit Assignment / Data-driven effective model shows a liquid-like deep learning

Learning Credit Assignment journals.aps.org シナプス結合を決定論的な値ではなく確率分布として表現して、そのパラメータを誤差逆伝播法で学習させるモデルを提案。学習済みNNのシナプスは常に値を持つもの、常に0のもの、その中間の3タイプに分かれ、推…

【論文まとめ】Overparameterized neural networks implement associative memory

www.pnas.org 次元圧縮を行わず入力画像をそのまま出力できるオートエンコーダを学習させると、学習に用いた画像は単なる「固定点」ではなくアトラクターとなる(ノイズを乗せて入力しても元の画像が出力される)。つまりホップフィールドモデルのような連想…