Точки A (1;1;5), B(4;7;5), C (8;5;5), D (5;-1;5) являются верхушками прямоугольника

Обретаем координаты векторов АС и ВД:
АС = (8-1=7;5-1=4; 5-5=0) =(7;4;0).
ВД = (5-4=1; -1-7=-8; 5-5=0) = (1;-8;0).

Косинус угла меж векторами равен скалярному произведению векторов, делённому на творение их модулей.

Скалярное творенье a  b = ax  bx + ay  by + az  bz,
АС*ВД = 7*1+4*(-8) = 7-32 = -25.

AC = (7+4+0) = 49+16) = 65.
BD = (1+(-8)+0) = (1+64) = 65.

cos(ACBD) = -25/(65*65) = -25/65 = -5/13.
Угол равен  1,966 радиан либо 112,6 градусов - это больший угол, так как он больше 90 градусов.