Как такое задание делать?

Из графиков видно, что построить треугольник можно используя отрезок прямой меж точками пересечения прямой и параболы как одну сторону треугольника, и расположив на параболе верхушку треугольника
Координаты точек пересечения параболы и прямой
3x = x
x(x-3) = 0
x = 0
y = 0
(0;0)
x = 3
y = 9
(3;9)
От этой стороны к верхушке на параболе проведём вышину.
Она будет наибольшей в точке параболы, в которой наклон касательной к параболе равен углу наклона прямой y = 3x, угловой коэффициент 3
Для параболы
y'(x) = 2x = 3
x = 3/2
y = x = 9/4
Т.е. треугольник (0;0), (3;9), (3/2;9/4) является треугольником максимальной площади

Треугольник наибольшей площади будет образован отрезком прямой y=3x отсекаемым дугой параболы y=x^2 и точкой на этой параболе. 
Точки концов отрезка можно отыскать из x^2 = 3x. Это точки (0;0) и (3;9).

Третья точка находится равенством наклона касательной к графику y=x^2 и y=3x. Так как неважно какая друга точка будет находиться поближе в отрезку, то есть создавать треугольник с тем же основанием, но наименьшей вышиной (формула площади треугольника S = 1/2ah). То есть 3-я точка находится из равенства наклона касательной к параболе и прямой, откуда  f1'(x) = f2'(x) 2x = 3 x = 1,5. 3-я точка имеет координаты (1,5; 2,25)