He should have tried harder.Для чего тут have? Почему tried, a не

Вам следовало бы пробовать упорнее(но Вы этого не сделали в прошедшем)
Деяние относится к прошлому,говорим о событии в прошлом, которое обязано были произойти, но не вышло.
Модальный глагол + perfect infinitive.
Если сказать he should try harder-ему следует попробовать посильнее-это относится к истинному медли.

Ты разговариваешь, что он обязан был сделать больше.
should - одна из форм этого "обязан"
tried - прошедшее время, потому на конце ed