в коробке были карандаши . сначала из коробки брали 50% карандашей

Начнём с конца:

в коробке осталось 3 карандаша после того, как брали 40%, означает:

1) 100- 40= 60(%) - 3 карандаша.

60% = 3 кар.

40% - ?

2) 3*40/60 = 2 (кар.)- 40% оставшихся.

3) 2+3 = 5 (кар.)- остаток, после того, как брали 50%.

если брали 50% и осталось 5 карандашей, означает:

4) 100-50 = 50 (%)- 5 карандашей.

5) 5+5 = 10 (кар.)- было в коробке.

Проверяем:

10*0,5 = 5

10-5 = 5*0,4 = 2

5-2 = 3 

Ответ:  10 карандашей было в коробке сначало.

 

либо с иксом:

пусть х карандашей было в коробке сначало, тогда  сначала брали 0,5х, а затем 0,4*(х-0,5х) = 0,4*0,5х = 0,2х - брали во второй раз.

Складываем уравнение:

0,2х+0,5х +3= х

3 =х-0,2х-0,5х

3 = 0,3х

х = 3/0,3

х = 10 (кар.)- было в коробке сначало.

Ответ: 10 карандашей было в коробке сначало.

00-50-40=10 % осталось
Из условия знаем,что осталось 3 карандаша=10%
3 каранд. - 10%
неизв.каранд - 40%
3*40:10=12 карандашей отобрали во 2 раз
3 каранд.- 10%
неизв. каранд. - 50 %
3*50:10=15 карандашей взяли в 1 раз
15+12+3=30 (карандашей) было в коробке
Ответ 30 карандашей было в коробке