Пусть Н - высота пирамиды. Sosn - площадь основания, Sboc - боковой, S - площадь всей поверхности, S = Socn + Sboc; V - объем, r - радиус вписанного шара.

Sboc*cosb = Socn;

S = Socn*(1 + 1/cosb); 

V = Socn*H/3; Socn = 3*V/H;

S = (3*V/H)*(1 + 1/cosb);

H/(1 + 1/cosb) = 3*V/S; 

Справа стоит радиус вписанного шара, потому что

V = r*S/3;

Если это не понятно - соедините мысленно центр шара с вершинами и сложите объемы всех полученных при этом пирамид с высотами, равными r, и боковыми гранями в качестве оснований.

r = H/(1 + 1/cosb);

Осталось вычислить высоту пирамиды.

Если через высоту провести плоскость перпендикулярно стороне основания, то получится прямоугольный треугольник, образованный высотой пирамиды, апофемой и ее проекцией на основание. Острый угол этого треугольника равен b. Проекция апофемы равна m = (a/2)*ctg(π/n), где n = 5; (это расстояние от центра основания до стороны) при этом H = m*tgb;

r = m*tgb/(1+1/cosb) = m*sinb/(1 + cosb) = (a/2)*ctg(π/n)*sinb/(1 + cosb); 

r = (a/2)*ctg(π/5)*sinb/(1 + cosb); это ответ. 

Как выразить функции углов, кратных 18 градусам, в радикалах - это отдельная задача. В данном случае нет смысла ее решать - все равно угол b не задан.