изучить на экстремум функцию z=x^2+xy+y^2-6x-9y 

Найди приватные производные по обоим переменным (раздельно).
(в прошлом ответе я написал как берётся приватная производная)
Приравняй обе к нулю - будет система линейных уравнений.

Найди решение системы.

Найди значение второго дифференциала в этих точках.
2-ой дифференциал запишется так:
dZ = Zxx*dx*dx + 2Zxy*dx*dy + Zyy*dy*dy
Это надо осмотреть как квадратичную форму от dx и dy.
Если она положительно определена - означает взыскательный минимум
Если отрицательно - максимум
Если не определена - нет эктремума
Если полуопредела - надобно изучить дальше.

Приватные производные:
Zx=2x+y-6=0
Zy=x+2y-9=0

2x+y-6=0
-2x-4y+18=0

-3y+12=0 =gt; y=4
=gt;x=1

Zxx=2
Zxy=1
Zyy=2
(от х и у вообщем не зависят. ну и ладно)

Означает 
d2Z=2(dx)^2+dxdy+2(dy)^2 = 
(корень(2)dx+dy/(2*корень(2)))^2 + (2-1/8)*(dy)^2

Означает положительно определена.