单位通知你去参加复试，你拒绝了对你的影响就是失去了这次工作的一个机会而已，其他的没什么影响，单位开展招聘面试，你报名参加属于你的个人权利和自由，你也可以主动放弃的，单位也不会强制你必须参加复试，所以没什么影响。