Даны точки А (4;6;5) и B (9;1;3) и C (2;10;10) .

Обретаем скалярное произведение векторов АВ и АС.
Поначалу в координатах. Скалярное произведение равно сумме творений одноименных координат.
Вектор АВ имеет координаты 9-4; 1-6; 3-5=5;-5;-2
Вектор АC имеет координаты 2-4; 10-6; 10-5=-2;4;5
Скалярное творенье АВ на  АС равно
5*(-2)+(-5)*4+(-2)*5=-10-20-10=-40
С другой стороны скалярное творенье одинаково творенью длин векторов на косинус угла меж ними
Длина АВ одинакова корню квадратному из суммы квадратов координат
(5+(-5)+(-2))=54=36
Длина АС
((-2)+4+5)=(4+16+25)=45=35
cos A=-40/3635=-40/930=-4030/270=-430/27
угол А равен arccos (-430/27)