无论从历史和地理位置来看江山市就是衢州代管的。

江山建制从唐武德四（621）开始，至五代吴越王钱镠宝正六年（931），310年左右称为须江县南宋咸淳二年（1266）以前，约340年左右称为江山县咸淳间称礼贤，为时约10年1276年后直称江山。

明清，江山均属衢州府。

辛亥革命（1911）后，属衢州军政分府管辖。民国元年(1912），废府，直属于省。3年，省以下设道，属金华道。16年，废道，仍归省直辖。22年，属省第一县政督察区。24年，属省第五行政督察区。37年，改隶省第三行政督察区。

1949年5月6日，江山县解放。7月1日建浙江省第三专区，属第三专区10月，第三专区改称衢州专区，属衢州专区。1955年，撤衢州专区，改属金华专区。1985年撤金华专区，分设金华、衢州两市（地级），江山属衢州市。

1987年11月27日，国务院批准江山撤县设市（县级），仍属衢州市，至今。