(著)山たー
CourseraのComputational Neuroscienceの3週目。読む上での注意点はWeek0を参照してください。
(書くのにかなり時間がかかるので、公開しながら随時更新します)
デコーディングの話。ニューロンの活動からどのように刺激を復元するか?
3.1: Neural Decoding and Signal Detection Theory
〇信号検出理論
p(r|-) p(r|+)
の分布の中間点を閾値(r=z)とする
検出力(p(r>z|+))を最大化
ネイマン-ピアソン letima
L(s)=\frac{p(s|tiger)}{p(s|breeze)}<1
logL(s)<0
〇信号とノイズの非線形分離
P(I|noise)
P(I|signal)
事前確率を調整することで、下流のセル(この場合は双極セル)は、上流のセルからのノイズではなく、刺激の結果であることを非常に確信できます。
事前確率は、平均的な場合に細胞の発火率の分布を定量化する方法を提供し、単純にノイズのあるケース(細胞はランダムな入力を受けている)と考えることができる。その通常の発射速度を調整することによって、発射速度が正常と考えられる場合と大きく異なる場合を選択することができます
〇Building in cost
Loss_-=L_-P[+|r]
Loss_+=L_+P[-|r]
L_-P[+|r]<L_+P[-|r]
3.2: Population Coding and Bayesian Estimation
〇 Population Coding and Bayesian Estimation
集合符号化とベイズ推定
〇コオロギのcercal細胞(尾触覚?)
風向きに対してcos関数の応答をする
45,135,225,315のときがピーク
〇Population vector
集合ベクトル
コオロギは何故2次元平面上の4つの異なる方向の動きをエンコードするニューロンを持っているのか?2次元であれば2本のベクトルで表現可能である。
⇒負の発火率を表現できないから。また、感覚ニューロンは陽性の刺激(運動感受性軸(motion in a direction along its primary motion-sensitive axis )に沿った方向の刺激)に応答することを意図しているので、どちらの方向の動きも符号化できるように、反対方向を向いたベクトルのペアが必要
〇M1におけるポピュレーションコーディング
cosチューニング
なぜ最大発火率によるポピュレーションベクトルへの寄与を正規化するのか。
⇒最大発火率10Hzのニューロンにおける、特定の刺激の下での9Hzの発火率は重要だが、最大発火率100Hzのニューロンにおける、特定の刺激の下での9Hzの発火率はあまり重要ではない。よって絶対的な発火率よりも、相対的な、正規化した発火率の方が重要である
3.3: Reading Minds: Stimulus Reconstruction
刺激の再構成
西本伸志先生の研究紹介
Nishimoto S, Vu AT, Naselaris T, Benjamini Y, Yu B, Gallant JL. Reconstructing visual experiences from brain activity evoked by natural movies. Current Biology. 2011; 21(19):1641-6. (pdf)
※Cinetでのセミナーを聞いた時のメモをべたばりしておく
後で修正しますが、なくしそうだったので
脳が見る世界:脳内情報表現の定量と解読
・視覚における情報処理
・モデリングアプローチ:自然体験下脳神経活動の予測モデル構築
・脳活動(脳の「言葉」)⇔体験
・体験から脳活動への関係を理解する(エンコーディング)
脳活動から体験内容への関係を理解する(デコーディング)
・中間情報表現(仮説):映像、意味、…
1.脳モデル化の基礎:初期視覚野における時空間情報表現
・モデルとは?
運動エネルギーモデル(単一ボクセル)
入力 → 運動エネルギーフィルタ→重み付き遅れ時間フィルタ→dense→出力
S(x,y,t) f(*) W R(t)
model:f(S)*W=R
objective:minimize(f(S)*W-R)^2+λIWI_1
W
・モデル(仮説)構築用訓練データ
(任意の)新規データに対する予測(汎化)能力で仮説を検証
・運動エネルギーモデルはヒト初期視覚野応答を説明する。
・運動エネルギーモデルから多様な時空間情報表現を推定できる
V1野単一ボクセル受容野
・予測モデルと大量動画(約1800万秒)を用いたベイジアンデコーディング
・空想によるインターネット画像検索
・ベイズ推定によるデコーディング
目的:右で高い値を示すSを探す。 p(S|R)∝ p(R|S)p(S)
p(R|S):確率的エンコーディングモデル ~ MVN(f(S), \sum)
ボクセルモデル+ボクセル間共分散
+
p(S):サンプル自然動画プライア
全刺激空間(ほぼ全域がノイズ)
→尤度の高いサンプルの中心=推定される視覚体験
・ジェネラティブモデル
・MRI
2.高次視覚野における意味空間情報表現
・高次視覚野の一部はカテゴリ選択的な応答を示す
FFA:顔エリア
PPA:場所エリア
意味空間表現
犬<=>猫<=====>海
カテゴリーモデル
input(S(x,y,t))→category label→linear temporal filters→dence→output(R(t))
ボクセル毎の重み付け
・カテゴリーモデルは高次視覚野
・脳が持つ世界観(意味空間)を定義する
・脳内における世界観(意味空間)を定義する
動物クラスタ、ヒトクラスタ、乗り物クラスタ…
脳はヒトと動物を区別する。(脳は現代生物学を理解していない)
→これを使ってヒトと似たような世界観を共有させたAIを作ることができる
・デフォルトモードネットワーク周辺に社会的なカテゴリがある
・文字だけとかなら?音だけなら?
・脳内意味空間は認知条件に応じてワープする
探索するものにより多くのボクセルを使うよう、意味空間が変形する
・選択性のシフトは皮質上の広範な領域で起こる
・Brain Viewer/Github:pycortex
・カテゴリーモデルを用いた脳内意味知覚デコーディング例
脳活動からどのようなカテゴリのものを見ているか推定できる
→寝ている人の脳活動を計測し、夢の内容を推定する
・より包括的な知覚・認知表象の理解
・Skip-gramと脳活動モデル
japanese wiki→skip gram algorism→
・脳活動による知覚推定(名詞、動詞、形容詞について)
・人工知能技術と脳内情報表現
Image→Deep CNN→RNN→Caption
DNNの階層情報表現はヒト大脳皮質の階層情報表現に似ている
・脳活動から体験内容を文章として取り出す
Automatic image caption generator
image→captionの代わりに、brain→caption
brain activity → encoder → attension mechanism → LSTM(Decoder) → sentence
・個性をつかさどる脳内情報表現の定量理解へ
ツインリサーチセンター
Personal genomiceからpersonal brainomics
遺伝子の個性から脳機能の個性へ
細胞単位の情報表現理解、2光子Ca2+イメージング
EEGなど…
・より多様な認知脳機能をつかさどる情報表現の理解へ
高次認知→判断→…→人格の再現
ができるかも
・明らかにおかしい画像(空を象が浮かんでいる、映画の一部)などに変な反応を示すか?
・脳の神経活動は人によって少し違う。大まかな意味空間は一致する。人によって評価がばらつくような動画で学習すると意味空間が異なってくる。
・標準的なアプローチ
計測用刺激セット(縦線に反応する、青に反応する、顔に反応する…)など、限定的・個別的体験に対する反応
・今回のアプローチ
自然な知覚体験から学習する。知見の重要性を定量できない。
・fMRIは血流の解析であり、遅い
・意味想像BMI
コメントをお書きください