При каких значениях a и b выражение a^2-4ab-3b^2 воспринимает наибольшее значение,

Так как  a - b =1;  a= b+1;Подставим в выражение заместо а.
(b + 1 )^2 - 4b(b+1) -3b^2= b^2 + 2b+1-4b^2 -4b -3b^2= - 6 b^2  - 2b +1;
Исследуем получившуюся функцию на экстремумы:
y = - 6b^2 - 2b +1;
y '(b) =-12 b -2;
y ' =0;  -12 b - 2 =0;
-12b = 2;
b = -1/6 .  Нарисуем коорд. прямую, проставим знаки  плюс и минус справа влево. Тогда на промежутке от минус бесконечности до  минус одной 6-ой функция возрастала, а после 
минус одной шестой подрастала, ТО есть b= - 1/6 -  точка точка максимума. Найдем а.   а = b+1= - 1/6 +1 =5/6   Ответ   а= 5/6; b = -1/6