光绪三十二年（1906年），时任两江总督的端方上书光绪皇帝，请求允许“南洋各岛及檀香山、旧金山等处侨民”回南京读书，以“宏教泽而系侨情”。经过筹备，校址被选在南京薛家巷妙相庵。该处地居南京城中央，鼓楼之南，唱经楼之北，西北紧邻金陵大学。

1907年3月23日，暨南学堂正式开学。首批学生21人，全部是爪哇归国的侨生，原籍大部分为广东。