贷款合同是基于买卖关系的存在而存在的。就您所述之情况,造成退房的责任在于开发商逾期交房的违约行为,您在此情况之下退房所发生的一切费用和造成的一切损失开发商均需负责赔偿和承担。
至于贷款由于已一次性过至开发商帐户,因此往往采取由开发商将贷款金额及利息支付给贷款人,贷款人与您解除贷款合同的方式进行。