根据生产安全事故造成的人员伤亡或者直接经济损失，事故一般分为以下等级：特别重大事故、重大事故、较大事故和一般事故。4人死亡属于较大事故。重大事故、较大事故、一般事故分别由事故发生地省级人民政府、设区的市级人民政府、县级人民政府负责调查。所以，此次事故应该由B市人民政府负责组织。