Будет ли правильно если я напишу "каждый день по вечерам уходит" вместо "каждый вечер уходит"

Не знаю, но зачем? Второе повествует о том же, только более ёмко. Можно ещё проще: он по вечерам уходит...