Катер прошёл 5 км против течения и 14 км за течением

Х км/ч - скорость катера
х+3 км/ч - скорость катера по течению
х-3  км/ч -  против течения
5/(х-3)  ч - время в пути против течения
14/(х+3) ч - в пути по течению
18/х ч - время в пути по озеру.
Время движения по реке одинаково времени движения по озеру.

5/(х-3)+14/(х+3)=18/х
5х(х+3)+14х(х-3)=18(х+3)(х-3)
5х+15х+14х-42х=18х-162
х - 27х+162=0
D=27 -4*162=81=+-9
х1=(27+9)/2=18 
х2=(27-9)/2=9

Оба решения подходят решению задачки.