(3x^2+y^3)(y^3-3x^2)

Пользуясь формулой сокращенного умножения, а именно - (a-b)(a+b)=a^2-b^2, подставляем значения:
(3x^2+y^3)(y^3-3x^2)=(y^3)^2-(3x^2)^2=y^6-9x^4