АС и АВ - касательные к окружности с центром Q. Следовательно АК - биссектриса угла А и по свойству биссектрисы делит катет ВС в
отношении, равном отношению двух прилежащих сторон АС и и АВ.
То есть СК/КВ=АС/АВ. АВ найдем по Пифагору:
АВ=√(АС²+ВС²)=√(144+25)=13. КВ=СВ-СК=5-СК. Тогда
13СК=(5-СК)*12=60-12СК, отсюда  СК=2,4.
Проведем из центра первой окружности прямую, параллельную катету АС до пересечения с радиусом QН второй окружности, проведенным в точку касания с катетом АС (QH перпендикулярен АС по свойству радиуса в точку касания). Тогда из прямоугольного треугольника ОРQ имеем:
ОQ=R+r=R+0,5; QP=R-0,5;  PO=√(OQ²-QP²)=√[(R+0,5)²-(R-0,5)²).
Отсюда РО=√(2R). НС=РО=√(2R). Тогда из подобия треугольников НАQ и АСК (НQ параллелна СК, так как перпендикулярна АС) имеем:
НQ/CK=AH/AC. HQ=R; HC=√(2R); CK=2,4; AH=12-HC=12-√(2R). Тогда
R/2,4=(12-√(2R))/12, отсюда 12*R=2,4*((12-√(2R)) или 6*2R=12*2,4-2,4*√(2R).
Примем √(2R)=Y. Тогда 2R=Y² и мы имеем квадратное уравнение:
6Y²+2,4Y-12*2,4=0.  Разделим на 6:
Y²+0,4Y-4,8=0, отсюда (отбрасывая отрицательный корень) Y=2.
Итак, √(2R)=2, отсюда R=2.
Следовательно, радиус второй окружности МЕНЬШЕ (1/5)*АС=12/5=2,4.
Что и требовалось доказать.