Найти орт e, перпендикулярный векторам a ={1;−1;0} и
b ={2;1;−1} .
Смущает в задании то, что орт - единичный вектор.

Пусть \vec{e} =\{e_x;e_y;e_z\}

Скалярное произведение перпендикулярных векторов равно нулю, поскольку cos(90°) = 0. При скалярном произведении векторов складываются  произведения соответствующих координат.

Орт вектор имеет единичную длину, поэтому \sqrt{e_x^2+e_y^2+e_z^2}=1

Запишем все условия под одну систему и решим её.

\left \{\begin{array}{cc}{\vec{e} \cdot \vec{a} =0\\ \vec{e} \cdot \vec{b} =0\\ |\vec e|=0\quad }\end{array}\right. \Leftrightarrow \left \{\begin{array}{cc}{1\cdot e_x-1\cdot e_y+0\cdot e_z=0\\ 2\cdot e_x+1\cdot e_y-1\cdot e_z=0\\e_x^2+e_y^2+e_z^2=1^2\qquad \qquad \end{array}\right. \Leftrightarrow \\\Leftrightarrow \left \{\begin{array}{cc}{e_x=e_y\qquad \qquad \qquad \qquad \\2e_x+e_y=e_z\qquad \qquad \quad \qquad \\e_x^2+e_x^2+e_z^2=1\qquad \qquad \end{array}\right. \Leftrightarrow

\Leftrightarrow \left \{\begin{array}{cc}{e_x=e_y\qquad \qquad \qquad \qquad \\e_z=3e_x\qquad \qquad \quad \qquad \\2e_x^2+(3e_x)^2=1\qquad \qquad \end{array}\right. \Leftrightarrow \left \{\begin{array}{cc}{\\e_x=\sqrt{\dfrac{1}{2+9}} =\dfrac{\sqrt{11}}{11}\\e_y=\dfrac{\sqrt{11}}{11}\qquad \qquad \\e_z=\dfrac{3\sqrt{11}}{11}\qquad \qquad \end{array}\right.

Ответ: \vec{e}\left \{\dfrac{\sqrt{11}}{11} ;\dfrac{\sqrt{11}}{11} ;\dfrac{3\sqrt{11}}{11} \right \} .