построить отрезок длиной √(a² - b² - ab) где a>b, a и b - длины двух данных отрезков

Построить отрезок x = √(a² + b² - ab) не составляет труда. Это третья сторона в треугольнике, где между a и b 60 градусов. Построить 2 луча под углом 60 градусов вы должны уметь (проще всего просто построить равносторонний треугольник и воспользоваться 2 его сторонами, вдоль них отложить a и b, и соединить концы.

Теперь надо еще построить отрезок длины y =b*√2. Это - диагональ у квадрата со стороной b. Это тоже можно сделать циркулем и линейкой. 

Вот теперь, имея 2 отрезка - x = √(a² + b² - ab) и y = b*√2, считаем первый гипотенузой в прямоугольном треугольнике, а второй - катетом. Строим треугольник (это учебная задача, тут на сайте её 1000 раз решали, если сами не можете) по гипотенузе x и катету y, второй катет как раз и равен √(a² - b² - ab);