論文刊行しました。チンパンジー数字系列課題にActor-Criticをあてはめた小ネタです。強化学習に詳しいかたにコメントいただけると幸いです。（平田） オンラインリンクはこちら（有料）： link.springer.com/article/10.100… 無料PDFはこちら： rdcu.be/dJ3YA

【今日の1日1スキル👩‍💼】DS-218 モデル化 - 強化学習 ⭐️⭐️⭐️ 主要な強化学習モデルを理解し、目的に応じて学習・評価できる(Deep Q-network [DQN]、Asynchronous Advantage Actor-Critic[A3C]、Proximal Policy Optimization [PPO]やその派生形など）

Advantage Actor-Critic読まなきゃ何もわからんなってここ３週間ずっと思ってる気がする

> actor-criticではなくてQ学習なのかとも思ったけど，そもそもfMRIの空間解像度で区別できない可能性 actionとevaluationが同じところで行われているのでactor-criticではなくQ学習かと考えたけれど， fMRIの解像度の問題でactorとcriticの分割を検出できていない可能性もあるという意味

modal controllabilityが高い部位がまた，(考えの)評価を行う部位でもあることの意味を考えていた actor-criticではなくてQ学習なのかとも思ったけど，そもそもfMRIの空間解像度で区別できない可能性 少し戦略を変えて，評価が状態価値なのか行動価値なのかを区別する方向はどうだろうか それから，

deliberation(やSoAを伴う心的制御)を強化学習の枠組みで捉えたい件 tip-of-the-tongueとかはその手の現象に思うけど，creativityの研究も参考になりそう ideaの生成と評価をactor-criticと見做せないかな？ ちな可制御性との関連では評価側が高MC領域に重なっているぽい↓ sciencedirect.com/science/articl…