はじめに
ある集団の中に、違う突然変異がその集団に入ってきたとします。
このとき、元々の集団はどうなるでしょうか。
元々の集団がそのままでいられるのか、突然変異がその集団を駆逐してしまうのか。
これは、元々、生物学者のメイナード・スミスが研究したもので、突然変異という言葉の通り、進化論を考える上でのモデルとなっています。
しかし、これは生物学だけではなく、人々が使う製品・サービス、制度・システムなど、様々なものに適用できるものと言えます。そこで、ゲーム理論では大事な一つの分野となっており、説明したいと思います。
進化的に安定な戦略（ESS）
進化的に安定な戦略（ESS）とは、ある集団が戦略$s^*$をとっている中、違う戦略$t$をとる突然変異がその集団に入ってきたとしても、元々の戦略$s^*$をとる集団が駆逐されず、そのままでいられるというものです。
数式
突然変異の比率を$\epsilon \, (0 < \epsilon < 1)$としたとき、その集団は、次のように表せます。
$(1 \; – \; \epsilon) s^* + \epsilon t$
そして、この集団$(1 \; – \; \epsilon) s^* + \epsilon t$の中で、戦略$s^*$の適応度を
$u(s^* \, , \, (1 \; – \; \epsilon) s^* + \epsilon t)$
とします。同様に、突然変異の戦略$t$の適応度を
$u(t \, , \, (1 \; – \; \epsilon) s^* + \epsilon t)$
とします。
このとき、進化的に安定な戦略（ESS）とは、次が成り立つときになります。
$u(s^* \, , \, (1 \; – \; \epsilon) s^* + \epsilon t) > u(t \, , \, (1 \; – \; \epsilon) s^* + \epsilon t) \quad \cdots \quad (1)$
これは、戦略$t$をとる突然変異が集団に入ってきたとき、新たにその集団は$(1 \; – \; \epsilon) s^* + \epsilon t$となりますが、それでも戦略$s^*$をとる集団のほうが適応度が高いことを求めています。
ところで、$(1)$式の左辺は、
$u(s^* \, , \, (1 \; – \; \epsilon) s^* + \epsilon t) = (1 \; – \; \epsilon) u(s^* \, , \, s^*) + \epsilon u(s^* \, , \, t)$
となり、同様に、$(1)$式の右辺は、
$u(t \, , \, (1 \; – \; \epsilon) s^* + \epsilon t) = (1 \; – \; \epsilon) u(t \, , \, s^*) + \epsilon u(t \, , \, t)$
と計算できます。
これにより、$(1)$式は、
$(1 \; – \; \epsilon) u(s^* \, , \, s^*) + \epsilon u(s^* \, , \, t) > (1 \; – \; \epsilon) u(t \, , \, s^*) + \epsilon u(t \, , \, t) \quad \cdots \quad (2)$
となります。
ナッシュ均衡
$(2)$式において、$\epsilon$が十分に小さいとき、
$u(s^* \, , \, s^*) \geq u(t \, , \, t) \quad \cdots \quad (3)$
が成り立つ必要があります。なぜなら、$u(s^* \, , \, s^*) < u(t \, , \, t)$のときには、$(2)$式の不等号が逆になるからです。
そしてこの$(3)$式から、進化的に安定な戦略（ESS）はナッシュ均衡であることが分かります。
参考
岡田章『ゲーム理論・入門』
岡田章・加茂知幸・三上和彦・宮川敏治『ゲーム理論ワークブック』