Есть прямоугольник со стороной 3 и 5 смбольшую сторону уменьшили на

Как я теснее написал в комментариях, площадь квадрата всегда больше площади прямоугольника, если сумма сторон одинакова (как в этом случае). Утверждение достаточно знаменитое, но пользоваться им сходу не будем, а запишем полное доказательство.

После увеличения/убавления, стороны прямоугольника одинаковы 5-a и 3+a. Значит площадь S=(3+a)(5-a). Представим площадь как функцию:

Данная функция - парабола, коэффициент при x меньше нуля ветви вниз. Нас интересует наибольшее вероятное значение данной функции. Достигается оно в верхушке параболы. Найдем абсциссу верхушки:

собственно, это и есть ответ.

Ответ: a=1