Докажите, что не существует таких значений x и y, при которых данные многочлены одновременно принимали бы отрицательные значения 5x²-6ху-7y² и -3x²-6ху+8y²

Скорее всего в условии опечатка: во втором многочлене. +6xy

рассмотрим систему неравенств5х²-6ху-7у²<0-3x²+6xy+8y²<0  сложим левые части и получим неравенство2х²+у²<0, но левая часть этого неравенства всегда больше 0 при любых Х и У , а значит не существует таких Х и У при которых оба эти неравенства были бы справедливы, то есть меньше 0, или отрицательны, что и требовалось доказать!