обозначим точку пересечения этой прямой и стороны квадрата АВ как Т
АТ+ТВ = АВ
ТВ = R ---радиус окружности
выразим АТ через радиус...
из равнобедренного треугольника АОD, где AD = AB = AT+R
высота этого треугольника, проведенная к основанию, = АТ
из получившегося прямоугольного треугольника по т.Пифагора
(AD/2)^2 + AT^2 = R^2
AD^2 + 4AT^2 = 4R^2
(AT+R)^2 + 4AT^2 = 4R^2
AT^2 + 2AT*R + R^2 + 4AT^2 - 4R^2 = 0
5AT^2 + 2AT*R - 3R^2 = 0
D = (2R)^2 - 4*5*(-3R^2) = 4R^2 + 60R^2 = (8R)^2
AT = (-2R + 8R)/10
---отрицательный корень не рассматриваем (не имеет смысла...)
AT = 6R/10 = 3R/5
искомое отношение: AT/TB = (3R/5) / R = 3/5