в прямоугольный треугольник вписан в окружность с катетами 5 и 12

Немножко не понятно, что в условии. S=pr, где S площадь треугольника, р - полупериметр, r - радиус.
Если в треугольник вписана окружность, то r=S/p,
S=5*12=60,
p=(a+b+c)/2 (a, b и с это стороны треугольника)
c^2=5^2+12^2=169
с=13
р=(5+12+13)=30
r=60/30=2.

Если в окружность вписан треугольник, то гипотенуза - поперечник, соответственно, R=13/2=6,5