В  прямокутнку трикутнику з катетами 3см 5 см вписано квадрат,

Стороны квадрата "отрезают" от исходного треугольника два прямоугольных треугольника, подобных ему. Можно брать любой из них, и из пропорций, последующих из подобия, найти сторону квадрата.

Если обозначить сторону квадрата а, то стороны 1-го из "отрезанных" треугольеников 3 - x и x, а подходящие стороны начального  треугольника 3 и 5, поэтому

(3 - x)/x = 3/5;  15 - 5*x = 3*x; x = 15/8; ну, а периметр квадрата 4*х = 15/2;

В общем случае, если катеты a и b, то P = 4*a*b/(a + b); это выражение симметрично условно а и b, потому ответ в задачке, окончательно же, не зависит от того, какой из 2-ух "отрезанных" треугольников использовать. :)