при каких значениях а и б решением системы уравнений (а-1)x+y=b+1, ax+(b+1)y=5

Заместо икса подставляешь -1, а заместо y  2
получишь систему 
-a+1+2=b+1
-a+2b+2=5
-------------
-a-b=-2 2 (умножаем обе части данного выражения на 2) 
-a+2b=3
складываем эти уравнения после умножения первого на 2, получаем: 3а=1 
а одинаково одна третья (1/3)
подставляем это значение в хоть какое из выражений заместо "а" и решаем, b получится пять третьих (5/3), а позже можешь проверить