遵化在夏、商为幽、冀之地，周初为燕地，春秋属无终国，战国燕灭无终，属燕之古北平郡。

秦为右北平、渔阳二郡地。

汉为徐元、俊靡二县，属右北平郡。三国魏除徐无、俊靡二县外，兼有土垠县地。

晋初仍为徐无、俊靡二县，属北平郡，后俊靡并入徐无。

北魏太平真君七年（公元446年）废北平郡，徐无县改属渔阳郡北周，徐无并入无终县属渔阳郡