형질(trait)의 적응도(fitness)가 개체군 내의 다른 형질과 비교하여 얼마나 일반적인지에 따라 영향을 받을 때, 이를 빈도 의존적 선택(frequency-dependent selection)이라고 합니다. 빈도 의존적 선택은 종 간 또는 단일 종 내에서 발생할 수 있습니다. 이런 유형의 선택은 양성(positive; 더 일반적인 표현형이 더 높은 적응도를 가짐)이거나 음성(negative; 드문 표현형이 높은 적응도를 가짐)일 수 있습니다.

양성 빈도 의존적 선택

양성 빈도 의존적 선택(positive frequency-dependent selection)에서 흔한 표현형(phenotype)은 적응도 이점을 가지고 있습니다. 이 시나리오는 종종 의태(mimicry)와 관련된 상호작용에서 나타납니다. 중앙아메리카의 신열대지역에서는, 나비종 Heliconius cydno와 Heliconius sapho가 뮐러 의태(Müllerian mimicry)를 보입니다. 두 나비 모두 흑백의 경계신호(aposematic signal)를 통해 독성, 독, 나쁜 맛, 다른 포식자 제지효과에 대해 경고합니다.

흥미롭게도 H. cydno는 밀접하게 관련된 자매종인 H. melpomene와 교배하고 자손을 낳을 수 있습니다. H. melpomene은 주로 검은색과 빨간색입니다. 이렇게 탄생한 백-적-흑 잡종 자손은 적응도가 훨씬 낮습니다. 암컷 잡종은 불임일 뿐만 아니라 포식자가 색깔을 경계신호로 인식하지 못하고, 부모종의 나비는 해당 잡종을 잠재적인 짝으로 인식하지 못합니다. 따라서 가장 일반적인 표현형(흑백)이 선택됩니다. 그러나 백-적-흑 잡종이 자주 나타날수록 포식자가 이전에 다른 잡종 개체와 마주친 것을 통해 경계신호에 대해 학습했을 가능성이 커져 표현형의 적응도가 상대적으로 더 높아질 수 있습니다.

음성 빈도 의존적 선택

음성 빈도 의존적 선택(negative frequency-dependent selection)은 흔한 표현형이 도태되는 선택입니다. 음성 빈도 의존적 선택의 한 가지 유형은 희귀 표현형이 포식자가 유기체를 먹이로 인식하지 못하게 만들어 더 높은 적응도를 부여할 때 발생합니다. 이를 이단 선택(apostatic selection)이라고 합니다.

이단 선택의 전형적인 예는 숲달팽이(grove snail)와 포식자 중 하나인 지빠귀(thrush)에서 발견됩니다. 숲달팽이는 다형성(polymorphic) 껍질 패턴을 보이지만, 포식성 지빠귀는 먹이를 찾을 때 한두 가지 일반적인 형태의 껍질 패턴에 집중하는 경향이 있습니다. 따라서 이러한 일반적인 표현형은 더 강한 음성 선택압(selection pressure)을 경험합니다.

음성 빈도 의존적 선택의 또 다른 예는 식물의 자가불화합성(self-incompatibility) 체계에서 찾을 수 있습니다. 속씨식물(angiosperm)에서, 동형불화합성(homomorphic self-incompatibility)은 일반적으로 꽃가루와 암술이 동일한 대립유전자를 표현할 경우 꽃가루 발아나 관 성장을 방지하는 유전적 기작을 가지고 있어 자가수정(self-fertilization)을 방지합니다. 이 현상은 S-locus라고 불리는 복대립(multiallelic) 유전체 영역에 의해 조절됩니다. 따라서 S-locus의 일반적인 형태를 표현하는 식물은 자주 가짜 “자신s”—을 만나게 되는데, 이럴 경우 잠재적인 번식 사건, 즉 유전자 흐름(gene flow)은 자가불화합성 유전자로 인해 차단됩니다. 이를 정리하자면 더 희귀한 형태의 S-locus는 양성 선택 아래 있고, 일반적인 형태는 음성 선택 아래에 있다는 의미입니다.