相传，大隋朝末年，时任太原留守的李渊带兵巡游五台山时，途经一地口渴难耐，看到一股泉水从山间涌出，叮咚作响、晶莹剔透。于是，上前准备拿起器皿舀来一些泉水解渴。原来这股泉水是敞口的小井，清澈见底，当时正有九条小龙在小井四周盘绕成缸形玩耍。他用器皿一舀，就把井里这九条小龙舀在了器皿里。
后来他把泉水倒进井里，这九条小龙又到了井里，反复几次。当时因为口渴，他不管三七二十一，端着器皿一饮而尽。等他喝完泉水，饮完马，左脚踏上马镫，右脚上马正准备踏上马镫的时候，原先看见的这九条小龙突然变成九个十七八岁气度不凡少年，走到李渊跟前拜见说道：“我主万岁，拜见圣上，我们迎驾来迟，还请恕罪。”
龙泉寺始建于辽朝应历初年，当时释继升因对佛法感悟超群而被师兄嫉妒，被排挤出白马寺，以手上唯一的财产《金刚经》为指引，向北行进，来到凤凰岭创建了龙泉寺。
元大都妙善寺的比丘尼舍蓝蓝八哈石（“八哈石”意思是师尊）退居宫外妙善寺，该寺是舍蓝蓝以历年宫中御赐财物建成。舍蓝蓝退居妙善寺后，又于西山重修龙泉寺，建层阁于莲池。”
1332年（元朝至顺三年），元大都妙善寺的比丘尼舍蓝蓝八哈石（“八哈石”意思是师尊）圆寂。
1564年（明朝嘉靖四十三年），昌平州人崔学履为凤凰岭龙泉寺写下一首诗《龙泉喷玉》：“龙泉喷寒玉，汩汩无停时。道人对澄澈，游子杨清冷。”
龙泉寺·客堂
1659年（清朝顺治十六年），顾亭林由山东入京师，在《昌平山水记》中记录了“昌平州西南五十里龙泉寺”。
1884年（清朝光绪十年），直隶总督李鸿章聘莲池书院主讲黄彭年主纂《畿辅通志》，其中以《昌平山水记》为基础，描绘了龙泉寺的地理位置及水流情况。
1895年（光绪二十一年），麻兆庆修《昌平外志》记载了龙泉寺。
1889年（清朝光绪十六年），释印光来到龙泉寺担任行堂（寺院净碗扫地、铺筷添饭的杂役）。日后留书黄底黑字“南无阿弥陀佛”影壁于龙泉寺东院。
龙泉寺·天王殿
中华民国时期，庙会兴盛。1938年（民国二十七年），广东的香客募捐在金龙桥南的东院建万缘茶棚，施茶施粥。1939年（民国二十八年）立《万缘茶棚碑》，该碑现已无存。抗日战争时期渐趋沉寂。
到中华人民共和国初期，龙泉寺仅有房屋几十间。至文革时期龙泉寺改为民居或他用。
1995年，随着凤凰岭自然风景区开放，当地政府及以蔡群居士为首的诸善信开始逐渐恢复寺院原貌。
2004年，释学诚率众弟子一行8人入住龙泉寺。
2005年4月11日，经北京市宗教事务局批准，龙泉寺正式对外开放成为佛教活动场所，并迎请中国佛教协会副会长兼秘书长学诚大和尚住持寺院。
