1905年建立黑龙江省图书馆。当时的黑龙江将军署学务处在齐齐哈尔市龙沙公园内创办了一所图书馆，这是最早的省图书馆。1954年原黑龙江省与原松江省合并为新的黑龙江省，省会由原来的齐齐哈尔市改设在哈尔滨市。于是，原黑龙江省图书馆便更名为齐齐哈尔市图书馆。1957年，省委省政府决定在哈尔滨市筹建新的黑龙江省图书馆。1961年，8600多平方米的馆舍竣工。