На стороне CD квадрата АВСD лежит точка Р так, что СР=РD,

Вектор разности (c) = (a-b) начала векторов соединяются и началом вектора разности (c) будет конец вектора (b), а концом конец вектора (a). Тогда
1) Вектор АР=DP-DA. Вектор DA=-BC=-b (как обратные стороны квадрата, но разнонаправленные). Вектор DС=АВ=а (как противоположные стороны квадрата,  направленные в одну сторону). DP=(1/2)*AB=(1/2)a. Тогда АР=(1/2)*а+b.
2) Вектор CР=-(1/2)*DC или СР=-(1/2)*а.
3) Вектор РА=-АР или АР=-(1/2)*а-b.

PS. Для чего дана точка О - не понятно.