临泉县在春秋时期叫做沈子国，战国称寝或沈，为楚寝丘邑，治所在今县城西古城

汉改为县（王莽改曰闰治）。同时在西部置鲖阳县，治所在今鲖城镇。均属汝南郡。

民国23年（1934年）9月，析阜阳县西乡北起颍河，南至洪河，纵以茶棚大路、龙王堂、栗头店、五坑集、欧庙集、会龙集、九龙沟以西设立新县，因县城濒临泉河，故名临泉县。

解放初，分置临泉、泉南、泉阳3县和临泉市，统归豫皖苏区第四地委所辖。