可以这样回复：感谢你的帮助和照顾，这次那么多人还想着邀请我一起去参加活动。只是我个人刚好有事情不能过去，非常抱歉对不起了，改天约你吃饭赔罪。

实在不好意思，确实是单位领导要马上去加个班，实在不敢推辞，所以谢谢你的邀请，下次我来邀请你，咱们一起聚聚