В правильной треугольной призме ABCA1B1C1 боковое ребро одинаково 3, а сторона

Пусть А - начало координат .
Ось X - AB
Ось Y - перпендикулярно X в сторону C 
Ось Z - AA1

координаты точек 
B(5;0;0)
C(2.5;2.53;0)
A1(0;0;3)
B1(5;0;3)
C1(2.5;2.53;3)

уравнение плоскости ABC1 - проходит через начало координат
ax+by+cz=0 
Подставляем координаты точек
5a=0    a=0
2.5a+2.53b+3c=0 
Пусть с= -1 тогда b=0.43
0.43y-z=0

уравнение плоскости A1B1C
ax+by+cz+d=0  
Подставляем координаты точек
3c+d=0
5a+3c+d=0
2.5a+2.53b+d=0

a=0 Пусть d= -3 тогда с=1 b= 0.43
0.43y+z-3=0

Косинус искомого угла равен 
((0.43)^2-1) / ((0.43)^2+1)=13/37

Проведём секущую плоскость через ребро АА1 перпендикулярно АВ и А1В1. В этом сечении и получим тонкий угол между заданными плоскостями. Он образован перпендикулярами из точек С1 на АВ и из С на А1В1. Проекции этих перпендикуляров на основание совпадают друг с ином и равны 5*cos30 = 53/2.
Разыскиваемый  угол равен:
= 2arc tg(3/(53/2)) =  1,211782 радиан либо 69,43001.
Косинус этого угла равен 0,351351.

Можно прямо найти косинус  через треугольник с двумя гранями по половине вышины С1Д (Д - середина АВ) и третьей - боковое ребро.
Ответ: 0,351351136.