一、书记员的回避应当由谁决定
1、书记员的回避应当由负责审理案件的人民法院的院长。书记员属于审判人员，《中华人民共和国刑事诉讼法》第三十一条规定，审判人员的回避，应当由院长决定。
2、法律依据：《中华人民共和国刑事诉讼法》
第三十一条 审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定;院长的回避，由本院审判委员会决定;检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。
对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。
对驳回申请回避的决定，当事人及其法定代理人可以申请复议一次。
二、书记员回避的决定有哪些
1、审判人员的回避，由本法院的院长决定;
2、检察人员的回避，由本检察院的检察长决定;
3、侦查人员的回避，由本公安机关的负责人决定;
4、法院院长的回避，由本院审判委员会讨论决定。判委员会讨论院长回避问题时，由副院长主持，院长不得参加。
5、检察长的回避，由本院检察委员会讨论决定。检察委员会讨论检察长回避问题时，由副检察长主持，检察长不得参加。
6、公安机关负责人的回避，由同级检察机关的检察委员会讨论决定。
7、记员的回避，其所属的机关不同，由本机关的负责人决定。
8、人、翻译人员的回避，根据其所处的不同诉讼阶段，分别由该阶段主持进行诉讼活动的机关负责人决定回避的效力：回避决定一经作出，即发生法律效力，应当回避的人员须立即退出诉讼活动。法定的个人或组织不准许回避的，自行请求回避或被当事人中请回避的人员进行的诉讼行为仍然有效。在复议期间，诉讼行为的重新开始和继续进行一般不受影响。回避人员范围内的人员有法定回避情形之一却没有回避的，构成程序违法。特殊情况：鉴于刑事侦查工作的紧迫性和特殊性，为防止延误侦查，规定对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。
综上所述，刑事诉讼法中之所以要求有些人员必须主动或者在相关人员申请后由院长或者检察长要求回避的，是为了防止公正的诉讼中因为存在某些不法的关系而直接影响了最后的结果，从而对那些本身就是想在诉讼中得到救济的人又因此而遭受了更多的违法侵害。
