律师分析:
书记员需要回避的应该由负责审理案件的人民法院的院长作出决定。
法律依据:
《中华人民共和国刑事诉讼法》
第三十一条 审判人员、检察人员、侦查人员的回避,应当分别由院长、检察长、公安机关负责人决定;院长的回避,由本院审判委员会决定;检察长和公安机关负责人的回避,由同级人民检察院检察委员会决定。对侦查人员的回避作出决定前,侦查人员不能停止对案件的侦查。对驳回申请回避的决定,当事人及其法定代理人可以申请复议一次。
第三十二条 本章关于回避的规定适用于书记员、翻译人员和鉴定人。辩护人、诉讼代理人可以依照本章的规定要求回避、申请复议。