нужно избавиться от иррациональности дроби:
в числителе: а квадрат-5b квадрат
в знаменателе: а+b корень из 5

Умножаем числитель и знаменатель на корень из 5:

3 * (корень из 5) / 5

Здесь есть 2 варианта. 1 - домножить числитель на такую же скобку, что и в знаменателе, только со знаком минус. Или возвести всю дробь в квадрат. Решение двумя способами на фото: