事故责任认定书不一定需要双方都到场。因为双方到场并不是事故责任认定书生效的必要条件。交警会给当事人交通事故责任认定书,且不需要双方都签字,只有一方签字,交通事故认定书也是有效的。当事人对交通事故损害赔偿有争议,各方当事人一致请求公安机关交通管理部门调解的,应当在收到交通事故认定书之日起10日内提出书面调解申请。
法律依据:
《道路交通安全法》第七十三条
公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论,及时制作交通事故认定书,作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任,并送达当事人。