\"Пустить моль в гардероб\" - вариация фразеологизма \"Пустить козла в огород\". Моль вредит одежде, козёл - овощам. Таким образом, подтекст фразеологизма отсылает к человеку, который собственноручно позволяет другому человеку с дурными помыслами и намерениями наносить себе вред.