Надо найти радиус шара, вписанного в пирамиду, ограниченную плоскостями, заданными следующими уравнениями в обычной ортогональной системе координат (x,y,z):

Плоскости x = 0, y = 0, z = 0 (это просто плоскости, построенные на координатных осях - плоскости XY, YZ, XZ) и

плоскость 12*x + 4*y - 3*z = 12;

Пояснения. Вершина А соответствует началу координат, точка B лежит на оси X и имеет координаты (1,0,0), точка С лежит на оси Y и имеет координаты (0,3,0), точка D лежит на оси Z и имеет координаты (0,0,4). Такая привязка пирамиды к ортогональной системе координат возможна потому, что треугольники CAD, BAD и ABC прямоугольные, это легко проверить по теореме Пифагора. Угол А - это "прямой трехгранный угол", то есть все три прямые АВ, АС и AD взаимно перпендикулярны.

Плоскость 12*x + 4*y + 3*z = 12 соответствует плоскости DBC и проходит через точки B(1,0,0) C(0,3,0) D(0,0,4), что легко проверить непосредственно (напомню, что три точки задают плоскость однозначно).

Уравнение плоскости легко привести к векторному виду nr = 12/13; где единичный вектор n = (12/13, 4/13, 3/13); InI = 1; а вектор r - это радиус-вектор точки плоскости, то есть попросту вектор (x,y,z), где x,y,z - коодинаты любой точки плоскости. Вектор n - нормаль к плоскости, то есть он перпендикулярен плоскости. 

С другой стороны, центр шара, вписанный в эту пирамиду, должен быть равноудален от граней трехгранного угла, поэтому он лежит на прямой x = y = z;

или, что то же самое, радиус-вектор центра R имеет координаты (a,a,a), где a - радиус вписанного шара (я использую букву а, чтобы не было путаницы, где что). 

При этом расстояние от центра до плоскости DBC тоже равно а. Из этого следует вот что - если провести перпендикуляр из центра на плоскость, и этот отрезок рассматривать, как вектор (с модулем а) с началом в центре и с концом на плоскости, то этот вектор можно записать в виде n*a, поскольку вектор n перпендикулярен плоскости DCB и по модулю равен 1.

Конечная точка вектора принадлежит плоскости (это точка касания шара и плоскости DCB). Запишем это в векторном виде.

R + n*a = r; где r - радиус-вектор  точки касания. 

Я представил радиус-вектор точки касания в виде суммы двух векторов - радиус-вектора центра шара и вектора из центра шара в точку касания (все просто!). 

Поскольку точка касания лежит на плоскости, она подчинаяется уравнению плоскости. Чтобы этим воспользоваться, умножим скалярно обе стороны этого векторного равенства на n. Получим

Rn + a = nr = 12/13.

Rn = (12/13 + 4/13 + 3/13)*a = (19/13)*a; и получается элементарное соотношение

19*а + 13*а = 12;

Радиус шара a = 3/8.

Есть и такой способ - я соединяю центр шара с вершинами и считаю объем пирамиды как сумму объемов получившихся четырех пирамид, в которых радиус шара является высотой. Я получаю простую формулу, аналогичную известной формуле площади треугольника. Пусть V - объем пирамиды, S - площадь всех поверхности, а - радиус шара. Тогда

V = S*a/3;

Площади трех граней пирамиды легко считаются

Sabc = 3*1/2 = 32; Sabd = 4*1/2 = 2; Sacd = 4*3/2 = 6; 

четвертая грань - это треугольник BCD со сторонами √17, √10 и 5; если есть большое желание, можно вычислить его площадь по Герону. Но есть более просто способ. 

Я провожу в этом треугольнике высоту из точки В к стороне CD = 5 и получаю два прямоугольных треугольника. Если высота h, а сторона CD делится на отрезки x и 5 - x, то

x^2 + h^2 = 17;

(5 - x)^2 + h^2 = 10;

x = 16/5; h = 13/5;

Sbcd = 13/2;

Окончательно получается 

V = 1*3*4/6 = 2; S = 13/2 + 2 + 6 + 3/2 = 16;

a*16/3 = 2;

a = 3/8;