月牙泉形成在距今约 12000 年前的全新世初期，当前的月牙泉、大泉湾、小泉湾所在的沿线，原本是古党河河道的一部分。
后来由于鸣沙山不断的向西和向北扩展阻塞河道，造成党河河谷改道向北迁移，使原河道中央的积水洼地形成封闭式的残留湖，这样就形成了月牙泉。
月牙泉的形成主要取决于月牙泉所处的地质结构、低洼的地形条件和区域性地下水位较高等方面因素。
月牙泉西边，有一条古老的河流——党河。党河的水源补给主要依靠祁连山的冰雪融水，大量河水渗透到地下，成为地下水。
由于地壳的上升和沉降运动，使得南部山区大量的碎屑物质源源不断地被搬运到盆地中沉积下来，松散堆积物奠定了月牙泉下部松散的地质结构，为地下水的贮存和流动提供了有利的空间条件。
除了地质结构以外，低洼的地形条件是月牙泉形成的另一个重要因素。
