Вместо звёздочки запишите такой многолчен что-бы образовалось тождество:
(5х в квадрате - 3ху - у в квадрате)-(*)=х в квадрате + 3ху