почему в предложении My brother hates washing the dishes
пишется washing, а не to wash?

потому что правило.Если объяснять на пальцах:Если объяснять на пальцах:my brother hates washing the dishes - он вообще терпеть не может это делоmy brother hates to wash the dishes - ему сказали помыть вот именно сейчас

Потому что он делает это сейчас в данный момент а когда в данный момент то используется правило present continues