1601年初春，芝佛院被一场人为的火灾烧得四大皆空。
据说纵火者乃是当地官吏和缙绅所指使的无赖。李贽在麻城的支持者梅家，是当地数一数二的大户，家族中的代表人物梅国桢又正掌理西北军事。梅国桢有一个孀居的女儿梅澹然曾拜李贽为师，梅家的其他女眷也和李贽有所接触。这种超越习俗的行动，在当时男女授受不亲的上层社会里，自然引起了众人的侧目而视。
但是李贽对舆论不加理睬，反而毫无顾忌地对澹然和她的妯娌大加称赞。他和她们往来通信，探讨学问。他著作中所提到的“澹然大师”、“澄然”、“明因”、“善因菩萨”等等，就是这几位女士。他说：“梅澹然是出世丈夫，虽是女身，然男子未易及之。”又说：“此间澹然固奇，善因、明因等又奇，真出世丈夫也。”
李贽的言行既然有关风化，也就是和官僚绅士的切身利益有关。李贽自动作了一次长途旅行，离开麻城前后约计四年。
1600年又回到芝佛院。这次招摇的旅行使当地官绅更为痛心疾首，而尤其糟糕的是，他居然在给梅澹然的信上说麻城是他的葬身之地。
是可忍，孰不可忍，官绅们既想不出更好的办法，只好一把火烧了他的栖身之地。
