AIエンジニアの探求

計算論的神経科学で博士号取得後、AIエンジニアとして活動中。LLMの活用や脳とAIの関係などについて記事を書きます。

読んだ本の備忘録④「フロントエンドの知識地図」

フロントエンドを勉強しようと思って「フロントエンドの知識地図」を読んだ。 www.amazon.co.jp 自分はずっとAI開発がメインだったのでweb開発をほとんどやったことがなく(せいぜいflask+nginxでデモを公開するぐらい)、いわゆるソフトウェアエンジニアリン…

読んだ本の備忘録③「考える技術・書く技術」

3冊目はバーバラ・ミントの「考える技術・書く技術」 www.amazon.co.jp 内容まとめ 何らかのメッセージを含む文書の構造は常にピラミッドストラクチャーに従うべきだという考え方の解説書。ピラミッドストラクチャーの鉄則として以下の3つが存在。 どのレベ…

読んだ本の備忘録②「WORK SHIFT 孤独と貧困から自由になる働き方の未来図〈2025〉」

今年から読んだ本については、備忘録として感想などをまとめようと思う。2冊目は「WORK SHIFT 孤独と貧困から自由になる働き方の未来図〈2025〉」。 本の内容 グローバル化や技術発展、環境問題の悪化などによって働き方がどのように変わるかを2012年に考察…

読んだ本の備忘録①「世界一流エンジニアの思考法」

今年から読んだ本については、備忘録として感想などをまとめようと思う。1冊目は牛尾剛の「世界一流エンジニアの思考法」。 https://amzn.asia/d/2pUFq4Z この本では著者自身のMicrosoft Azureチームでの経験をもとに、エンジニアとしての効率的な仕事の方法…

OpenAIのfunction callingでタスクの自動管理に挑戦

slack上のメッセージから自動でガントチャートに登録すべきタスクを抽出した上でfunction callingを使ってGASなどを叩ける形に変換する実験を行った。

AutoGPTを使ってみた

この記事は? AutoGPTというGPT-4を活用してゴールを与えるだけで自動的にタスクを完了させることを試みたプログラムが注目を集めています。 【完全自動型AI】AutoGPTを徹底解剖!使い方をご紹介 ChatGPT と AutoGPT の特徴と違い、そしてユーザーの声 このA…

(メモ) LlamaIndexだけを利用して多段推論を試してみる

LlamaIndexのMultiStepQueryTransformを利用して、文書を参照した多段推論が可能か実験してみました。

LlamaIndexとLangChainのAgentを組み合わせて文書を参照した多段推論を実現する

LlamaIndex概要 ChatGPTの知識を補完する仕組みとして、llama_indexがあります。 これを使うことで、文書やwebページをChatGPTに外部情報として渡してそれを参照して質問に回答してもらうことができるようになります。 使い方などは例えばこのnoteのシリーズ…

MiniGPT-4を試してみた

GPT-4はマルチモーダルな情報処理が可能であるとされ、以下のように高度な画像認識ができるとOpenAIは主張しています(GPT-4 Technical Reportから引用)。 ジョーク画像の面白さを説明してもらうという使い方。GPT-4の回答: 画像は、「Lightning Cable」アダ…

【論文まとめ】Learning Credit Assignment / Data-driven effective model shows a liquid-like deep learning

Learning Credit Assignment journals.aps.org シナプス結合を決定論的な値ではなく確率分布として表現して、そのパラメータを誤差逆伝播法で学習させるモデルを提案。学習済みNNのシナプスは常に値を持つもの、常に0のもの、その中間の3タイプに分かれ、推…

【論文まとめ】Overparameterized neural networks implement associative memory

www.pnas.org 次元圧縮を行わず入力画像をそのまま出力できるオートエンコーダを学習させると、学習に用いた画像は単なる「固定点」ではなくアトラクターとなる(ノイズを乗せて入力しても元の画像が出力される)。つまりホップフィールドモデルのような連想…

ニューロンの混合選択性と高次認知

はじめに mixed selectivityとは何か なぜmixed selectivityが必要なのか? pure selectivity neuronのみの時 mixed selectivity neuronが存在する時 実験の紹介 設定 結果1: 混合選択性を持つニューロンの確認 結果2: 神経表現の持つ次元 分離可能性と汎化…

Average Controllabilityの導入の背景を理解する(計算メモ)

はじめに Network Controllability系の論文に出てくる量の「気持ち」を理解するために、導出を追ってみました。 問題設定 離散的なlinear time invariant systemを考える。 Aはノード数nの有向グラフの接続行列を表し、control nodes setをとした時にとする…

論文メモ

The Rediscovery of Slowness: Exploring the Timing of Cognition. www.ncbi.nlm.nih.gov 安静時の脳活動をwhole-brain computational modelの助けも借りて解析すると特徴的な「遅い」時間スケールでの活動が見られた。これは力学系におけるmetastabilityも…

Biologically plausible backpropagationまとめ②:Feedback Alignment

こんにちは、タイトルの通り「生物学的に妥当な誤差逆伝播法」の分野で、具体的に提案されている手法を紹介していきます。ちなみに概要的な話はここに書いてあります。tripdancer0916.hatenablog.com 今回紹介するのはFeedback Alignmentという手法で、2016…

Biologically plausible backpropagationまとめ①

こんにちは、機械学習の研究分野の中でニッチながらも少しずつ知名度をあげてきている分野、"biologically plausible backpropagation"(日本語に直訳すると『生物学的に妥当な誤差逆伝播法』)についてこれから何回かに分けて記事を書いていきます。初回は…

kerasで知識の蒸留(Distillation)

概要 kerasで知識の蒸留(knowledge distillation)を実装する際結構ハマったので備忘録も兼ねてポイントを整理します。ちなみにsoft targetをあらかじめ計算しておくやり方であればそんなに難しくないのですが、Imagedatageneratorとfit_generatorを使って…

[論文紹介]Born-Again Neural Networks

こんにちは、Born Again Neural Networksというknowledge distillation系の論文で面白いものがあったのでそれを紹介していきます。 一部再現したコードをgithubにあげています。 github.com ちなみにknowledge distillation(KD)については分かりやすい解説記…

主観的経験の統合=システムの情報論的統合?

統合情報理論(=IIT)について若干違和感を抱いていたことがあったのでちょっと整理してみました。 IITの公理 IITは意識について5つの「公理」(=意識が満たしているべき条件)を用意して、それが実現されるために系(とその状態)に課される条件を情報理論的…

統合情報量の情報幾何的定義

Oizumi, M., Tsuchiya, N., & Amari, S. (2015). A unified framework for information integration based on information geometry. www.pnas.org ビッグネームが名を連ねるIIT関連論文ということで前々から読もうと思っていたのを、この間やっと読めたので…

哲学的ゾンビの現代的解釈

ジュリオ・トノーニとクリストフ・コッホの共著論文「Consciousness : here , there and everywhere ?*1」の中にかなり面白い話があった。 著者は2人とも意識の研究で有名な神経科学者で、特にトノーニの「意識の統合情報理論」は意識を科学で扱う上でかな…

「創発」は定量化できるか?

複雑系の理論でよく使われる言葉に「創発」がある。 あるシステム全体の挙動がそのシステムの構成要素個々の振る舞いの単純な総和としては理解できないような現象、という風に理解している。構成要素は単純な振る舞いしか示さないのに、全体としてはとても複…

雑記2

今からするのはめちゃくちゃ妄想の話。 昔から自由意志が謎だと思ってた。素朴にデカルト的、心身二元論的な自由意志をなんとなく信じてたんだけど、明らかにそれは物理法則に反してる。 仮に物理的な相互作用から独立した「自由意志」があってそれが物質に…

雑記1

「リベットの実験によると、人が自由意志を持ってるって思ってるのは脳が作り出した幻想みたいだよ、それって怖くない?」 「僕は波動関数の確率的な収縮を破らない範囲での自由意志ぐらいなら存在してもいいんじゃないかって思ってるけどね。でもたとえ自由…

研究のこと

ネッカーの立方体(下図、立方体が置かれている向きが2通りに見えて、しかもその見え方が時間とともに切り替わる)をCNNで再現しよう、そしてそのメカニズムを力学系的な立場で解析してみようというのが今やってる試み。 ただ普通のCNNだとstaticすぎて時間…

IITは複雑系科学なのか?

今日Tononiのこの動画を見た。 そしてこんなツイートをした。 IIT、「全体は部分の総和を超える」っていう複雑系の考えの極北かもしれない— いっちー (@tripdancer0916) 2018年5月26日 IITは「統合された情報を持つシステムは意識を持つ」という公理(仮説)…

人間と機械のあいだ 心はどこにあるのか

を読んだ。内容としては、「生命の本質とはなにか」「意識とは何か」「それらの問題にどうやってアプローチできるか」などの問題を2人の研究者が対話を交えながら語っていくもの。 人間と機械のあいだ 心はどこにあるのか 作者: 池上高志,石黒浩 出版社/メ…

Deep Image Prior

衝撃的な出会い 「一切学習させていないニューラルネットワークに一枚だけ画像を渡して、その画像に対してノイズ除去したり解像度をあげたり空白を自然に埋めてくれるって手法が提案されてるよ」そう言われてこの論文*1を渡された時、にわかには信じられなか…

Chaos in learning a simple two-person game

じゃんけんを題材にしたゲーム理論の論文*1。シンプルなルールのゲームにおいて2人のプレイヤーがそれぞれ自分の戦略を良くしようとした結果、カオス的振る舞いが生じてしまうということが示されている。 じゃんけんにはナッシュ均衡*2というお互いのプレイ…

Why does deep and cheap learning work so well?

Deep Learningの理論的な側面にアプローチした論文*1。タイトル通り、なぜDeep Learningがうまくいくのか?を考えている。ただし個々のネットワークの構造やdropoutなどの学習テクニック、種々の勾配法のアルゴリズムには言及せず、もっと基礎的な部分をフォ…