Условие перпендикулярности векторов
Векторы являются перпендикулярными тогда и только тогда, когда их скалярное произведение равно нулю.
Скалярное произведение векторов: (m,a)=Xm*Xa+Ym*Ya+Zm*Za (1).
В нашем случае координаты вектора а={2;1;1}, координаты вектора
b={1;1;2} и тогда:(m,a)=Xm*2+Ym*1+Zm*1 =0.  Аналогично
(m,b)=Xm*1+Ym*1+Zm*2 =0 (2).
Единичный вектор имеет длину (модуль) равную 1, то есть
|m| = √(Xm²+Ym²+Zm²)=1. Возведем в квадрат:
 Xm²+Ym²+Zm²)=1 (3).
Из (2) вычтем (1): Xm-Zm=0 или Xm=Zm, тогда Ym= -3Xm.
Подставим эти значения в (3): Xm²+9Xm²+Xm²)=1  => Xm=Zm=1/√11, Ym=-3/√11.
Итак, искомый единичный вектор m = {1/√11;-3/√11;1/√11}. Но есть и противоположно направленный ему вектор -m, который также перпендикулярен векторам а и b.  Противоположно направленные вектора, это вектора, координаты которых пропорциональны и коэффициент пропорциональности ОТРИЦАТЕЛЬНЫЙ.
Коэффициент пропорциональности равен -1.
Значит вектор -m = {-1/11;3/11;-1/11}.

Второй вариант:
Векторное произведение векторов a и b по определению - вектор, перпендикулярно направленный плоскости параллелограмма, образованного векторами а и b. Находим вектор по формуле:
           | i  j  k |
(a*b)= |2 1  1 |  =  i (aybz - azby) - j (axbz - azbx) + k (axby - aybx)  или
           |1 1  2 |
(a*b)= i(2-1)-j(4-1)+k(2-1) = i -3j +k.  то есть мы получили вектор (a*b) с координатами (a*b)={1;-3;1}.
Модуль (длина) этого вектора равна |a*b| = √(1+9+1) =√11.
Мы знаем, что единичный вектор - это вектор, коллинеарный данному, но имеющий модуль, равный 1. То есть каждую координату необходимо разделить на модуль вектора |a*b|.  Это вектор
m={1/√11; -3/√11; 1/√11}  и противоположный ему вектор
-m={-1/√11; 3/√11; -1/√11}.