beatmania IIDX という音楽ゲーム をご存知でしょうか。私はこのゲームをブランクを挟みつつ10年弱やっています。
去年20周年を迎えたこのゲームは、画面上部から落ちてくるオブジェクトが画面下部の赤いラインと重なるタイミングで対応したデバイス を操作するという、音楽ゲーム の原点とも言えるゲームシステムとなっています。
基本的であることは簡単であることを意味しません。音楽ゲーム をほとんどプレイしたことのない人は、同時に2つのオブジェクトを処理することにもかなり苦労するでしょう。バイス を同時に見ることが出来ず、いわばブラインドタッチのような技術を習得する必要があるためです。
一方、熟練したプレイヤーは約2分間のうちに2000以上のオブジェクトを苦もなく処理することができます。音ゲー と比較して特別な身体能力を必要としないbeatmania IIDX （特にシングルプレイ）においては、「目の前のオブジェクトをいかに速く・正確に認識するか」が腕前の大きな要素を占めています*1 。
”縦認識”と”横認識”
beatmania IIDX プレイヤー（弐寺 er）の間では、初心者から上級者へと熟達していく過程で、流れてくるオブジェクト（譜面）の認識方法が変わる、あるいは変える必要があることが知られています。
引用ツイートで取り上げられている譜面（ギガデリSPH）は、段位認定というモードの八段ボスとして以前に設定されていたもので、長らく上級プレイヤーへの壁として君臨していました。”縦認識”と”横認識”で体感する難易度が激変する譜面の代表例ということができます。
高難度譜面をプレイするにあたって、「なぜ”縦認識”よりも”横認識”の方が有利である場面が多いのか」という疑問に対する考察は様々になされて来ました。脳科学 的な観点からこの疑問にアプローチすると共に、「実際に”横認識”はどのように成されているのか」「なぜ”横認識”の習得・維持は難しいのか」といった点についても触れていきたいと思います。
人間の脳は勝手に”縦認識”するように出来ている
突然ですが、ゲシュタルト崩壊 という言葉を聞いたことはありますか？Wikipedia の説明では、
全体性を持ったまとまりのある構造（Gestalt, 形態）から全体性が失われてしまい、個々の構成部分にバラバラに切り離して認識し直されてしまう現象をいう。
となっています。例えば単独の文字をじっと見つめていると、だんだん何の文字を見ているのかわからなくなる、というやつです。
このようなゲシュタルト （全体性を持ったまとまりのある構造）を人間が知覚するときの法則を解明しようとしたのが、20世紀初頭のドイツで興ったゲシュタルト心理学 です。脳科学 ではこのゲシュタルト心理学 の考え方を支持するような証拠が多く見つかっています。
ゲシュタルト心理学 の中心的存在であったマックス・ヴェルトハイマーは、人間の視覚認識に関するプレグナンツの法則
note.com 弐寺 の譜面に関わりそうな部分について紹介しようと思います（これらの性質はお互いに少しずつ重なり合っています）。
・近接性
近接した要素は同じグループに所属しているように感じられます。この譜面では、横よりも縦にまとまって見えます。
・類似性
類似した性質を持つ要素は同じグループとして知覚されます。この譜面では横一列（同時押しと呼ばれます）ごとに、白いノーツと青いノーツがまとまって見えます。
・連続性
よい連続性を持つ要素は同じグループとして知覚されます。この譜面では横方向のつながりよりも、縦一列のつながり（縦連）がまとまって見えます。
・顕著性
特徴的な形を持つ要素は同じグループとして知覚されます。この譜面では中央にある繰り返し（トリル）がまとまって見えます。
この譜面では、下の連続してズラされた配置（階段）が、上のランダムな配置と比べてまとまって見えます。
音ゲー の譜面はふつう音楽の構成にある程度沿って作られているので、必然的に縦連・トリル・階段といった要素で構成される傾向にあります。そのため、特に意識しないと”縦認識”で譜面を見がちになるというわけです*2 。
（”縦認識”が起こりやすい他の理由についても後ほど考えていきます。）
脳の「輪郭統合」システム
ここまでは、人間が見た物体を無意識にグループ化しているという事実について、心理学の分野における有名な法則をご紹介してきました。脳科学 的にはどのようなことがわかっているのでしょうか？
本題に入る前にまず抑えておきたい点ですが、人間の視覚はカメラのように光の情報をピクセル 単位で1対1対応させているのではなく、 目の前の光景のどの要素に属するのかを決定することで認識しています。
例えばリンゴの乗った机を普通のカメラで撮影するとき、どこまでがリンゴで、どこまでが机で、どこからが背景か、ということをカメラが把握してから撮影している訳ではありません。人工知能 の発達により、最近はスマホ ですら背景を認識してぼかしたりしてくれますが、そのような処理はレンズそのもので行っているのではありません*3 。
一方、人間においては、最初に光を認識する網膜の時点ですでに情報の処理が行われていることがわかっています。具体的には、光に対する反応の仕方が異なる細胞が特定のパターンで並んでいることによって、初めからコントラ ストの情報が強調されて脳へと送られているのです。
このような処理で得られた無数の境界線の情報は、座標の情報を保ったまま、網膜から視神経を通って、脳の一次視覚野と呼ばれる領域にまず送られます。ここには、ある決まった角度の線分に選択的に反応する方位選択性 を持つ神経細胞 が存在しているので、無数の境界線には角度の情報が与えられることになります。
方位選択性を持った神経細胞 は、似た方位の選択性を持った別の神経細胞 たちと水平に接続されています。これにより、同じような角度の情報が集まるとより強調されて、さらなる視覚処理の過程へと送られていくことになります。
Global Contour Saliency and Local Colinear Interactions
Wu Li and Charles D. Gilbert
Journal of Neurophysiology 2002 88 :5 , 2846-2856
この「輪郭統合」システムによって、先ほど紹介したプレグナンツの法則 に従うような形は、眼の前に広がる複雑な光景から浮き上がって見えてくるという訳です。
ここで紹介した内容は視覚処理のほんの一部に過ぎません。実際には、色・動き・奥行き・視覚以外の知覚・過去の経験・……といった様々な文脈的手掛かりによって、視覚情報は修飾されていきます。眼から入って来た情報は、このような処理がされた上で、意識へと登ってくるということです。
”横認識”は行動の選択肢を減らし反応速度を上げる
ここまでは、人間の脳が弐寺 の譜面を”縦認識”してしまう傾向について、その理由を考えてきました。ゲシュタルト崩壊 である”横認識”をわざわざ行っているのでしょうか？
この疑問に対するひとつの回答となりそうなのが、「選択肢が増えると反応速度は遅くなる」という事実です。
1950年代、HickとHymanは人間の平均反応時間RTが
音ゲー の話に戻りましょう。ふつう弐寺 においては、ノーツが画面の上端に現れてから、下端の判定ラインへと移動するまでの時間は固定されています*4 。BPM は曲によって変わり、連続的な値を取ります。ということは、”縦認識”における譜面の見え方≒選択肢はほぼ無限に存在することになります。
”横認識”の場合は、BPM に関わらず横一列の同時押しを見て反応することになるため、その選択肢は*5 。音ゲー に慣れていない人の数十倍の処理速度でゲームをプレイすることができるようになるという訳です。
この譜面では、縦方向のノーツの配置には無限に選択肢があるが、
今回は単に見えたノーツを押すまでの反応時間を考えましたが、弐寺 はリズムに合わせるゲームであるため、判定ラインと正確に重なるタイミングで押すほど良いスコアを獲得できます。
さて、ここまでは”横認識”の良さについて考えて来ましたが、デメリットが無い訳ではありません。パターン認識 をもう一度組み直す訳ですから、当然そこには余計な脳内処理が必要になりそうです。
この処理は、”横認識”が可能であるプレイヤー間でも腕前に大きな差があることから、上達に従って速度や精度が向上していくことが予想されます。
熟練により新たなパターン認識 が無意識下で可能になる
先ほど、視覚情報の処理はかなりの部分が無意識下で行われていることを述べました。このような無意識下の処理は並列実行が可能であり、意識下のそれと比べて大幅に速く行えることがわかっています。
では、人間は無意識下でどのような処理を行うことができるのでしょうか？
無意識下での脳内処理といえば、サブリミナル効果 は有名だと思います。映画のフィルムに意識できないほど短い時間だけコーラの映像を表示すると、映画が終わったあとのコーラの売上が倍増した……というやつですね。
例えば、外傷や脳卒中 などによって、不幸なことに一部の脳領域を損傷した人々について、「モノの形を認識して区別することができないのに、形に合わせて正確に握ることができる」「意識的には視野の半分が認識できないのに、無意識に（認識できない視野の情報を用いて）区別することができる」といった、意識と無意識の分離を示唆するような症状が出現することがあります。
健康な人間について も実験でこのような状況が再現されています。閾下プライミング と呼ばれる特殊な技法を用いることで、オブジェクトを数十ms表示しつつ、それを被験者には「見えない」ようにすることができます。弐寺 プレイヤーは上達に従って無意識下で譜面を（ある程度）処理できるようになる」ということは、かなり肯定的な証拠が揃っていると言えそうです。「見えないのに何故か押せる」ことがあるというのは、あながち嘘では無かったんですね。
上達に従って認識・処理能力が上がるということは、脳内で何かしらの変化が起こっているということです。このような知覚能力の向上には、脳神経回路の可塑性 が重要な役割を果たしています*6 。知覚学習 は、五感すべてで起こりうることがわかっています。
数多くの実験によって、この知覚学習は知覚課題に対する特異性が高いこと（例：弐寺 の練習をしても太鼓の達人 は上達しない）、学習結果のフィードバックが必須でないこと（例：弐寺 の上達には判定やリザルトが必要でない）といったことが調べられ、ここから視覚処理経 路における比較的低次の領域（一次視覚野など、網膜から入って来た情報が直接伝わる部分）が知覚学習における大部分の役割を果たしていると考えられてきました。音ゲー マーの方にはわかってもらえるのでは無いかと思います*7 。
（ちなみに、訓練による運動能力の向上は運動学習 と呼ばれ、こちらも様々なことが調べられており、当然弐寺 の上達にも関わってくると思われますが、今回は割愛します。）
まとめると、弐寺 プレイヤーは知覚学習を通して、”横認識”のような「技術」を後天的に獲得し、ある程度を無意識下で実行できるようになり、結果的に処理速度の向上を達成しているのではないか、ということになります。
人間は２種類の眼球運動で動く物体を追いかける
もう一度、眼の話に戻りましょう。
意識下であれ無意識下であれ、眼に映らないノーツを認識することは（記憶しない限り）できません。弐寺 の画面が40インチ近くあるといっても、視野から完全に外れてしまうことはありえません。
しかし、先ほども出てきた網膜の細胞は、視野の周辺になるにつれて解像度が落ちていきます。視野の中心が最も視力が高いことは、特別なデータを持ち出さずとも皆さん実感として知っていることだと思います。
ということで、弐寺 をプレイする上で難しい譜面を認識するためには、情報を与えられた脳はもちろん、情報を入手する眼もきちんとノーツを追いかける必要がありそうです。
ここで、一方向に流れ続ける景色を眺めているような状況を考えてみましょう。
こんなとき、眼でずっと追いかけているといずれ視野から外れてしまうので、ある程度のところで流れの方向とは逆向きに戻す必要があります。このようなリセットのための速い眼球運動は急速相 と呼ばれ、その角速度は毎秒900度に達します。緩徐相 と呼ばれ、先ほどの急速相と交互に繰り返して行われることになります。このような眼球運動のパターンを視運動性眼振 と呼びます。 人間や一部のサルでは、この緩徐相で視野の中心を使ってしっかりと対象を追いかけるべく、滑動性眼球運動（SPEM） という運動が発達しています*8 。
弐寺 のプレイにあたっては、この緩徐相と急速相の繰り返しによって、上から下へと流れ続ける大量のノーツを解像度の高い中心視野で追いかけ続けることができている、と考えられます。
いやいや、弐寺 の基本は目線の固定でしょ？そんな繰り返しの眼球運動なんかしてる訳ないじゃん……とお思いの方もいるでしょう。私もこの運動を知るまでは、ノーツを目で追わないことが認識にとって重要である、と強く信じていました。
というのもこの眼球運動は、行うかどうかは自分の意思で（随意的に）決定できるものの、その速度制御は無意識下になされており、意識に登ってくるのは眼球運動と物体の移動量の誤差のみです。そのため、すんなりと眼球運動が実行されている状態では、私たちは眼を動かしていると強く意識することはありません。
すなわち、緩徐相で「止まった」ノーツをしっかり認識し、急速相で眼球の位置を（上を見る方向に）戻し、緩徐相で認識し……といった繰り返しで、プレイヤーは譜面を眺めているということになります。
プレイヤーの皆さんには、このような眼球運動の存在を簡単に確認する方法があります。ご家庭のモニターに動いている譜面あるいは譜面動画を表示させ、いつも見ている辺りに、糸を張ったりなんなりして水平な目印を置いて、それをじっと見つめてみてください。びっくりするほど後ろの譜面を認識することができないはずです。
さて、このような仕組みで譜面を見ていることを前提にすると、簡単な譜面＝短時間見れば脳内処理に充分であるような譜面においては、必要な眼球の上下運動量が少なくなり、逆もまた正しそうな気がしてきます。
ということで私自身が実験台となって、画面表示の条件を変えることがプレイ成績にどのような影響を与えるのか、について実験してみようと思います。
（以下執筆中）
【実験】レーンのどの部分をどれくらい見てプレイしているのか？
考察・今後の展開
