村民委员会是村民自我管理、自我教育、自我服务的基层群众性自治组织，实行民主选举、民主决策、民主管理、民主监督。根据村民委员会组织法的规定，村民委员会的主任、副主任和委员是由村民直接选举产生的，且法律明确规定，任何组织或个人不得指定、委派或撤换村民委员会成员。也就是说，即使乡政府认为村民委员会主任不称职，也无权撤换。

首先，乡政府对村委主任是否称职没有评价权。村委主任由村民民主选举产生，依法履行职务，其履职是否称职应由村民评判。如果乡政府认为村委主任不称职，不再适合担任村委主任职务，可以向村民或村民代表提出罢免建议，但是否罢免由村民自主决定。

其次，罢免村委主任应当依法进行，任何人不能随意撤换。根据村民委员会组织法的规定，启动罢免程序应由本村五分之一以上有选举权的村民或三分之一以上的村民代表联名提出罢免要求，但要说明罢免的理由。被罢免的村委主任有权提出申辩意见。最后罢免村委主任应以投票的方式进行，须有登记参加选举的村民过半数投票，方能罢免村委主任。

不论是村委成员的选举还是罢免，均应充分体现广大村民的意愿，这是村民自治的根本。乡政府可以对村民委员会的工作给予指导、支持和帮助，但不得干预依法属于村民自治范围内的事项。否则，应根据村民委员会组织法的规定，由上一级人民政府责令改正。