AIエンジニアの探求

計算論的神経科学で博士号取得後、AIエンジニアとして活動中。LLMの活用や脳とAIの関係などについて記事を書きます。

「創発」は定量化できるか?

複雑系の理論でよく使われる言葉に「創発」がある。

 

あるシステム全体の挙動がそのシステムの構成要素個々の振る舞いの単純な総和としては理解できないような現象、という風に理解している。構成要素は単純な振る舞いしか示さないのに、全体としてはとても複雑で秩序立った構造が現れるような現象と言っても良いかもしれない。

 

そしてこの世界には「創発」が溢れかえっている。ライフゲームや蟻のコロニーから生命、脳、社会まで、いたるところでこの創発は起こっている。

 

普遍的に見られる性質のため、世界の理解のために重要であると考えられて研究が進められてきたけど、今までは個別の例にフォーカスしたものか、あるいは定性的な議論が主だった。

 

そこでタイトルに戻る。「何をもって創発が起こっていると言えるのか、そしてその程度は」という問いに対して情報理論的アプローチを試みて、そこから創発が起こるメカニズムまで議論しようという、野心的な研究がある。

Hoel, E. P., Albantakis, L., & Tononi, G. (2013).
Quantifying causal emergence shows that macro can beat micro.
Proceedings of the National Academy of Sciences, 110(49), 19790–19795. 

www.pnas.org

ちなみにIITで有名なTononiのグループによる研究だ。IITっぽさが随所に感じられて楽しい。

"Quantifying causal emergence" は創発定量化、そして"macro can beat micro"は次のような問題意識から来ている。

創発」と言っても、実際にはミクロとマクロで働いてる物理法則は同じなんだから、全てミクロな振る舞いから系全体の振る舞いは決定されているはず(マクロはミクロに”付随”している)。つまり原理的にはミクロが分かればマクロな現象は全て導けることになるけど、例えば経済の問題を考えるときに量子力学を使う人がいないように、現象を捉えるための適切な(マクロ)スケールが存在している。

ではなぜミクロに還元するよりもマクロに捉えた方が良いのか、そして自然現象を考えたときにそれがマクロなスケールで振舞っているように見えるのはなぜなのか、という問いが出てくる。

これに答えるために、著者たちは"Effective Information"という量を導入している。

これは、「系の現在の状態を一つ考えたとき(ある時間のスナップショットと思ってもらえれば)、その状態によって過去の状態と未来の状態がどれぐらい決定されるか」を考えて、それを取りうる状態全てに渡って総和を取ったものとしている。

ここには「情報とは、数ある可能性の中から一つを選び取る能力」とする統合情報理論の考えが織り込まれている。

 

具体的な計算方法としては、(過去に対して考えると)現在(t_0)の状態s_0を指定したときの過去(t_-1)における条件付き確率分布p(S_P|s_0)と一様分布U(何も状態を指定しなかったときの確率分布に対応)とのKLダイバージェンスを考え、それの現在の状態の確率分布に関する期待値をとる。

{ \displaystyle EI(S) = \langle Cause Information(s_0) \rangle = \sum_{s_0 \in U^E}p(s_0)D_{KL}((S_P|s_0),U^C) }

この量は

  • どれだけノイズが少なく系の振る舞いが決定されているか
  • どれだけ状態遷移が縮退しておらず多様な状態を取りうるか
  • どれだけ取りうる状態の集合が大きいか

に依存している(下図参照)

f:id:tripdancer0916:20180719074351p:plain


 

つまり、ミクロなスケールであれば取りうる状態の数は膨大になる分、ノイズが大きければいくつかの要素が取りうる状態をまとめて一つの状態とカウントした方が全体としてEffective Informationが大きくなるということが考えられる。簡単な例として下図に示すようなケースがある。

f:id:tripdancer0916:20180719074742p:plain

 

 このEffective Informationを測ることで系の振る舞いを観察するときの適切なスケールが分かる(もちろん現実の系だと計算量が途方も無いことになるから実際には計算できないだろうけど…)。

 

そして自然、特に生物は生存のためにEffective Informationを高くすることが必要なため、マクロなスケールで複雑かつ秩序立った振る舞いが引き起こされる(=創発が起こる)のではないかと示唆している。

 

個人的な感想:進化計算や遺伝的アルゴリズムなどを用いて、(マクロスケールで見ても)単純な系から創発が起こってEIが大きくなっていく様子を観察できたら面白いだろうなあって思った(Origin of Lifeの問題にも通じる?)のと、ここではBottom up causationしか考えてないけど、マクロな振る舞いがミクロな振る舞いを制御する(ように見える)Top down causationのメカニズムをこの理論のもとで説明できたらかっこいいんじゃないだろうか。もちろん既にやってる可能性はあるけれど。