违法建筑是由国土资源管理局、城乡规划局、乡、镇人民政府或者住房和城乡建设局负责管理，如果发现违建的，可以向以上其中一个部门举报。当然，只有在符合违建标准的前提下才能认定为违章建筑。
违章搭建属于城乡规划主管部门管理，有称作市县规划局的，也有称作建委或者建设局的。我国的城乡规划法规定没有取得建设工程规划许可证的，又或者是没有按照规定进行建筑的，都属于违章搭建，由城乡规划主管部门管理，城乡规划主管部门可以责令其停止建筑，也可以罚款或者采取其他方式消除影响。
违法建筑认定程序：
第一步：调查取证
城乡规划主管部门、城管部门依法进行现场调查，就未经登记的房屋的建造时间、地址、用途、面积、结构、所有人、使用人进行全面、客观、公正的调查，制作询问笔录。
第二步：责令限期整改
对没有违法用地和严重违反城乡规划的情形，城乡规划主管部门可作出“责令限期改正通知书”，要求当事人依据《城乡规划法》第64条之规定改正违法状态，交纳罚款后可补办证件。
对于涉及违法用地或者严重违反城乡规划且无法通过改正消除影响的情形，行政机关可依法作出责令限期拆除通知或者决定，限期当事人自行拆除。当事人若逾期未自行拆除的，则由行政机关依法强制拆除。
第三步：作出书面催告
对责令限期拆除决定书仍无动于衷的，行政机关会在救济期限届满后作出书面催告，敦促当事人履行义务。当事人有权对此进行陈述和申辩，行政机关应当充分听取并进行记录、复核。
第四步：作出强制拆除决定书
有关行政机关对当事人进行催告后，当事人仍未履行的，应当对其作出强制拆除决定书。
强制拆除决定书中需要载明当事人的姓名、地址;强制拆除的理由和依据、方法和时间;当事人申请行政复议或者提起行政诉讼的途径和期限等，并需要加盖作出机关的印章。强制拆除决定书作出后，必须依法送达给当事人。
第五步：发布强制拆除公告
在实施强拆前行政机关需发出公告，最后一次敦促当事人自行拆除。当事人仍未配合的，有强制执行权的部门应当先向县级以上人民政府申请，由县级以上政府责成后，方可实施强制拆除;乡、镇政府可以依据《城乡规划法》第六十五条的规定，自行决定组织实施强拆。无强制执行权的机关则不能自行强制拆除违法建筑，需要申请人民法院强制执行。
法律依据：
《中华人民共和国城乡规划法》
第六十四条未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
