乌兰山耸峙于县城之南，又名城南山。 关于乌兰山名称的由来，有两种说法，一种说法是在唐代，靖远境内曾设立乌兰县，山名由此而得。

另一种说法是在很久以前，乌兰山上生长着一种开红花的野草，人们称其为乌兰草，开花时节满山呈红色，乌兰是蒙古语红色的意思，而且靖远在历史上曾为蒙古人所占领，乌兰山即红山。