Точки P,Q,W делят стороны выпуклого четырехугольника ABCD в отношении AP:PB=CQ:QB=CW:WD=1:4, радиус окружности, описанной около треугольника PQW, равен 10, PQ = 16, QW=12.
а) Докажите, что треугольник PQW -- прямоугольный.
б) Найдите площадь четырёхугольника ABCD

Хорошо, но S2=26,88, а не 168...

я в комментах тоже опечатался :) 26,88 - это площадь ТРЕУГОЛЬНИКА PQW.

вот сбиваете с толку почем зря... :))

При чем здесь комменты? Ваш ответ: "Во втором случае S(ABCD)=(1/2)·20·60·√(1-24²/25²)=168." (цитата)

Треугольник PQW не обязательно прямоугольный. По т. синусов для него получаем PW=2R·sin∠Q=20·sin∠Q, а по т. косинусов для него же20²·sin²∠Q=16²+12²-2·16·12·cos∠Q. Решаем это уравнение, получаем cos∠Q=0 и cos∠Q=24/25. Т.е. в первом случае PQW - действительно прямоугольный (см. рис. 1), а второй случай также существует при выпуклом ABCD (см. рис. 2.)Т.к. AB/PB=CB/QB=5/4, то треугольник ABC подобен треугольнику PBQ с коэффициентом подобия 5/4, откуда  AC=(5/4)·PQ=5*16/4=20 и AC||PQ. Аналогично, треугольник BCD подобен треугольнику QCW с коэффициентом 5, т.е. BD=5QW=5*12=60 и BD||QW, откуда угол между диагоналями ABCD равен  углу PQW. Поэтому, площадь ABCD вычисляется по формуле (1/2)AC·BD·sin(∠PQW).Значит, в случае, когда PQW - прямоугольный S(ABCD)=(1/2)·20·60·sin(90°)=600.Во втором случаеS(ABCD)=(1/2)·20·60·√(1-24²/25²)=168.