в прямоугольном треугольнике точка касания вписанной окружности разделяет гипотенузу на отрезки

Гипотенуза =17

катет1 = 5+r
катет2 = 12+r
где r - радиус вписанной окружности

а отрезки катетов, начинающиеся в острых углах, равны соответствующим  отрезкам гипотенузы (отрезки  касательных, проведенные из 1 точки, одинаковы между собой)

осталось записать теорему Пифагора и отыскать r

289 = 25+10r+r^2 + 144 +24r+r^2 (приведя сходственные и сократив на 2 получим квадратное уравнение, решаемое через дискриминант по обыкновенной формуле)

r^2+17r-60=0
D = 529
r1 = (-17-23)/2 = -20  (не интересно. радиусы отрицательными не посещают)
r2 = (-17+23)/2 = 3

катет1 = 5+3 = 8
катет2 = 12+3 = 15