应该认定拒不退还的行为
在司法机关立案之后，实体审理以前仍不返还的可认定为最终不返还。在具体认定时，应当区分不同情况：一是如果当保管物的委托人、遗忘物的遗忘者、埋藏物的埋藏者或者他们的代理人、继承人向侵占行为人明确提出交还财物的主张，并且举有证据证明该财物属于其合法所有时，行为人无视证据，公然加以明确拒绝的，即应认定为拒不返还或者拒不交出的行为。二是如果侵占行为人在财物所有人明确提出要求交还主张时，虽承认了其主张并答应交还，但在其后又擅自处理了该财物，致使无法实行交还的，也应认定属于拒不返还或者拒不交出行为。三是如果侵占行为人虽有非法侵占的行为，但在司法机关立案之前还是交出或者退还了其侵占的财物，则不应视为拒不返还。四是如果行为人在合法所有者明确提出交还主张之前，已经处理了该财物，事后也承认并答应赔偿的，则不能以此认定。五是如果财物已毁损灭失而致行为人无力或根本不能返还，即客观上不能返还的情况应属于拒不返还。
拒不退还应该处罚
侵占罪中拒不退还或交出的司法认定将代为保管的他人财物非法占为己有，数额较大，拒不退还的，处二年以下有期徒刑、拘役或者罚金；数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。 将他人的遗忘物或者埋藏物非法占为己有，数额较大，拒不交出的，依照前款的规定处罚。
公司、企业或者其他单位的人员，利用职务上的便利，将本单位财物非法占为己有，数额较大的，处五年以下有期徒刑或者拘役；数额巨大的，处五年以上有期徒刑，可以并处没收财产。
