首付120万退房的话，单方面违约按照合同规定，违约金是定金的双倍或者成交价格的百分之二十。

所以具体的违约金数额是要看你签署的买卖合同内容，包括具体的成交价格、以及违约金具体内容。

还有一点就是，可以和对方好好协商，或许也不需要支付违约金。