首先，应当区分两种情况对待：
1、与原单位签订有劳动合同。
《劳动合同法》第五十条规定：“用人单位应当在解除或者终止劳动合同时出具解除或者终止劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续...用人单位对已经解除或者终止的劳动合同的文本，至少保存二年备查。”所以，像小郑遇到的这种情况，如果签订有劳动合同，单位应当协助出具离职证明，并办理办理档案和社会保险关系转移手续。单位拒绝办理以上手续的，小郑就可以向劳动部门投诉或申请劳动仲裁，保护自己的合法权益，并可以同时请求赔偿单位由此造成损失的。
2、未与原单位签订劳动合同。
很多情况下，员工与用人单位之间没有书面的劳动合同。例如，用人单位称试用期满，合格再签合同，但是员工在试用期满之前离开原单位了;或者因为其他原因没有签订劳动合同。因为没有签订劳动合同，很可能用人单位会以“没有事实的劳动用工关系”为由，不出具“离职证明”。这时，可以与新单位说明事实：你在前单位工作的性质属于“试工期”还没有签订正式合同，所以也不能开出离职证明。事实上，进入一个单位但是没有签订劳动合同，且又是辞职离开了该单位，这一段经历不会计入一般工龄，也就没必要把这段经历以“过去式”向应聘单位公开，而可以第一次找工作的新应聘者身份向应聘单位推介自己，即可避免应聘单位要求你出具离职证明的被动。因为自己画蛇添足，会平添很多手续上的麻烦。
