こんにちは、タイトルの通り「生物学的に妥当な誤差逆伝播法」の分野で、具体的に提案されている手法を紹介していきます。ちなみに概要的な話はここに書いてあります。tripdancer0916.hatenablog.com 今回紹介するのはFeedback Alignmentという手法で、2016…

こんにちは、機械学習の研究分野の中でニッチながらも少しずつ知名度をあげてきている分野、"biologically plausible backpropagation"（日本語に直訳すると『生物学的に妥当な誤差逆伝播法』）についてこれから何回かに分けて記事を書いていきます。初回は…

概要 kerasで知識の蒸留（knowledge distillation）を実装する際結構ハマったので備忘録も兼ねてポイントを整理します。ちなみにsoft targetをあらかじめ計算しておくやり方であればそんなに難しくないのですが、Imagedatageneratorとfit_generatorを使って…

こんにちは、Born Again Neural Networksというknowledge distillation系の論文で面白いものがあったのでそれを紹介していきます。 一部再現したコードをgithubにあげています。 github.com ちなみにknowledge distillation(KD)については分かりやすい解説記…

統合情報理論(=IIT)について若干違和感を抱いていたことがあったのでちょっと整理してみました。 IITの公理 IITは意識について5つの「公理」（＝意識が満たしているべき条件）を用意して、それが実現されるために系（とその状態）に課される条件を情報理論的…

Oizumi, M., Tsuchiya, N., & Amari, S. (2015). A unified framework for information integration based on information geometry. www.pnas.org ビッグネームが名を連ねるIIT関連論文ということで前々から読もうと思っていたのを、この間やっと読めたので…

ジュリオ・トノーニとクリストフ・コッホの共著論文「Consciousness : here , there and everywhere ?*1」の中にかなり面白い話があった。 著者は２人とも意識の研究で有名な神経科学者で、特にトノーニの「意識の統合情報理論」は意識を科学で扱う上でかな…

複雑系の理論でよく使われる言葉に「創発」がある。 あるシステム全体の挙動がそのシステムの構成要素個々の振る舞いの単純な総和としては理解できないような現象、という風に理解している。構成要素は単純な振る舞いしか示さないのに、全体としてはとても複…

今からするのはめちゃくちゃ妄想の話。 昔から自由意志が謎だと思ってた。素朴にデカルト的、心身二元論的な自由意志をなんとなく信じてたんだけど、明らかにそれは物理法則に反してる。 仮に物理的な相互作用から独立した「自由意志」があってそれが物質に…

「リベットの実験によると、人が自由意志を持ってるって思ってるのは脳が作り出した幻想みたいだよ、それって怖くない？」 「僕は波動関数の確率的な収縮を破らない範囲での自由意志ぐらいなら存在してもいいんじゃないかって思ってるけどね。でもたとえ自由…

ネッカーの立方体（下図、立方体が置かれている向きが2通りに見えて、しかもその見え方が時間とともに切り替わる）をCNNで再現しよう、そしてそのメカニズムを力学系的な立場で解析してみようというのが今やってる試み。 ただ普通のCNNだとstaticすぎて時間…

今日Tononiのこの動画を見た。 そしてこんなツイートをした。 IIT、「全体は部分の総和を超える」っていう複雑系の考えの極北かもしれない— いっちー (@tripdancer0916) 2018年5月26日 IITは「統合された情報を持つシステムは意識を持つ」という公理（仮説）…

を読んだ。内容としては、「生命の本質とはなにか」「意識とは何か」「それらの問題にどうやってアプローチできるか」などの問題を２人の研究者が対話を交えながら語っていくもの。 人間と機械のあいだ 心はどこにあるのか 作者: 池上高志,石黒浩 出版社/メ…

衝撃的な出会い 「一切学習させていないニューラルネットワークに一枚だけ画像を渡して、その画像に対してノイズ除去したり解像度をあげたり空白を自然に埋めてくれるって手法が提案されてるよ」そう言われてこの論文*1を渡された時、にわかには信じられなか…