катер прошел по течению реки 5 км против течения 12 км

Пусть собственная скорость катера = х, то есть скорость по озеру  

По течению реки скорость катера будет (х+3), против течения (х-3).

5/(x+3) +12/(x-3)=18/x

5*(x-3)*x+12*(x+3)*x=18*(x-3)*(x+3)

5x-15x+12x+36x=18*(x-9)

17x+21x=18x-162

x-21x-162=0      D=1089         D=33

x=27         x=-6

Ответ: собственная скорость катера  27 км/ч.

х км/ч - скорость катера;

5/(х+3)+12/(х-3)=18/х;

5х(х-3)+12х(х+3)=18(х-3)(х+3);

5х^2-15х+12х^2+36х=18х^2-162;

х^2-21х-162=0;

х1=-6; х2=27;

х=27 км/ч -скорость катера.