律师解答：
劳动者被退回人事部，人事部是可以重新给劳动者安排工作的，如果劳动者是被用人单位辞退的，用人单位是需要向劳动者支付赔偿金的。
1、调岗属于变更劳动合同的主要内容，用人单位必须先与劳动者协商一致，未经劳动者同意，用人单位单方面调整岗位，原则上是无效的；
2、如果用人单位是生产经营需要的调岗，且调岗具有合理性，不存在侮辱或惩罚性质，工资待遇不降低，与劳动合同约定的岗位之间存在相关性，则调岗有效；劳动者作为劳动者应该遵守。当然，调整岗位的合理性需要用人单位举证；反之，用人单位是基于迫使劳动者离职而调整岗位，劳动者是可以拒绝的。用人单位以劳动者不服从安排为由解除劳动合同，就属于违法解除；劳动者可以申请劳动仲裁要求支付赔偿金，工作1年支付2个月本人工资，即2N；
3、如果劳动者不能胜任工作，用人单位也是有权调整岗位的。当然，用人单位主张劳动者不胜任工作也是需要提供证据的。劳动者拒绝调整岗位的，用人单位据此解除劳动合同，属于合法解除，但是用人单位也是应该支付经济补偿，即N。
【法律依据】：
《中华人民共和国劳动合同法》第三十九条 劳动者有下列情形之一的，用人单位可以解除劳动合同：
（一）在试用期间被证明不符合录用条件的；
（二）严重违反用人单位的规章制度的；
（三）严重失职，营私舞弊，给用人单位造成重大损害的；
（四）劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
（五）因本法第二十六条 第一款第一项规定的情形致使劳动合同无效的；
（六）被依法追究刑事责任的。
