воспитанник обязан решить 40 задач, за решенную он получает 5 очков,

Пусть х задач решено, тогда

(40-х) задач НЕ решено;

5х очков за решенные задачи;

- 3(40-х) = (3х-120) очков за НЕ решенные задачи

По условию в итоге он набрал 0 очков, получаем уравнение:
5х + (3х-120) = 0

5х + 3х - 120 = 0

8х = 120

х = 120 : 8

х = 15 задач решено.