吉林是吉林乌拉的简称，满语是“沿江”的意思。

吉林市是人类在东北较早栖息和开发的重要地区之一，这里出土了距今2万年的人类居住遗址——寿山仙人洞，属旧石器时代晚期文化。

明朝，这里是海西女真四部之一的乌拉部所在，成为“乌拉国”。1409年，明朝政府在吉林市设置造船基地，来加强辽东都司与奴尔干都司之间的联系，负责建造运载官兵，粮草赏赐品和贡品的船只，同时也把这里作为运输官兵、粮草的转运站。

清朝在东北地区实行军府制，吉林市为吉林将军驻地。