У Пети были тетрадки по 12 и по 18 листов. Он

Допустим, Петя брал Х тетрадок по 12 листов, тогда тетрадок по 18 листов он брал 5-Х.
Общее количество листов от порванных тетрадок составит: 12Х + 18(5-Х).
Сообразно условиям задачки:
12Х+18(5-Х)=78,
12Х+90-18Х=78,
6Х=90-78,
Х=12 :6=2.
Количество тетрадок по 18 листов будет 5-2=3.
Ответ: 2 тетради по 12 листов и 3 тетради по 18 листов.