Каменщик Антон и Петр выкладывают один кирпичный забор за 8 час,

Антон и Петр выкладывают забор за 8 часов, означает, вдвоем за 1 час они делают 1/8 часть работы.

Петр и Дима выкладывают забор за 12 часов, означает, вдвоем за 1 час они делают 1/12 часть работы.

Антон и Дима выкладывают забор за 9,6 часов, означает, вдвоем за 1 час они делают 1/9,6 часть работы.

Сейчас представим, что работу сразу исполняют Антон и Петр, еще один каменщик, работающий также как Петр и Дима, и два каменщика, работающих как Антон и Дима, за час эти 6 человек, работающих как 2 бригады из Антона, Петра и Димы, будут выкладывать (1/8 + 1/12 + 1/9,6) часть работы.

Означает, Антон, Петр и Дима за 1 час исполняют
(1/8 + 1/12 + 1/9,6)/2 часть работы:

(1/8 + 1/12 + 9,6)/2 = (3/24 + 2/24 + 10/96) / 2 =
= (5/24 + 5/48)/2 = (10/48 + 5/48) / 2 = 15/48/2 = 5/32.

Вся работа это 1, вычислим число часов, которое будет нужно 3 каменщикам чтоб выполнить ее, работая со скоростью 5/32 в час:

1 / (5/32) = 32/5 = 6,4 (ч).

Ответ: 6,4 ч.