종분화(speciation)는 새롭고 뚜렷이 구별되는 종(즉, 생식적으로 격리된 개체군의 집단)의 형성을 초래하는 진화 과정입니다.

종분화의 유전학은 유전자의 교환을 막고, 나아가 생식적 격리(reproductive isolation)를 초래하는 다양한 형질(trait) 또는 격리(isolation) 기작을 말합니다. 생식적 격리는 접합자(zygote)가 형성되기 전이나 후에 영향을 미치는 생식 장벽(reproductive barrier)으로 인해 발생할 수 있습니다. 접합전(pre-zygotic) 기작은 수정이 일어나는 것을 막고, 접합후(post-zygotic) 기작은 잡종(hybrid) 자손의 생존 능력(viability) 또는 생식 능력(reproductive capacity)을 감소시킵니다.

예를 들어 접합전 기작은 유기체의 생활사 초기에 작용하여 유전자 흐름(gene flow)의 가장 강력한 방해를 초래하고 선호되지 않는 짝짓기 조합을 방지합니다. 일부 짝짓기 조합은 잡종 개체를 생성합니다. 하지만 자연선택(natural selection)은 낮은 적응도(fitness)를 가진 잡종 생산에 반대하여 두 종 사이의 생식적 분리를 증가시킬 수 있습니다.

접합후 기작은 내재적인 요인인 잡종 치사(hybrid inviability) 때문일 수 있습니다. 대립유전자(allele)들이 적절하게 기능하지 못하게 만드는 배수성(ploidy) 변이, 다른 염색체 배열, 유전자의 비호환성 같은 유전적 문제는 잡종의 다른 유전적 구성과 대체 발달 경로에 기여합니다. 이러한 유전적 변화는 식물과 동물 모두에 영향을 미치며, 접합후 격리 및 종분화로 이어집니다.

상위성(epistasis), 즉 비대립 유전자 상호작용(non-allelic gene interaction)은 종분화에 기여하는 독특한 현상입니다. 유전자 변이(gene variant)의 영향은 변이가 나타나는 유전적 배경(genetic background)에 따라 달라집니다. 예를 들어 같은 종의 구성원에서 정상적인 표현형(phenotype)을 낳는 대립유전자는 잡종의 유전적 환경에선 기능이 떨어질 수 있습니다. 이러한 잡종 약화(hybrid weakness)는 생식적 격리와 종분화로 이어질 수도 있습니다.