На плоскости отметили 100 точек, так что никакие три не лежат

Количество сочетаний (порядок не важен) из n по k - число, показывающее, сколькими методами можно избрать k элементов из n разных элементов.
С = n!/ k!(n-k)!

Разыскиваемое количество треугольников - количество сочетаний из 100 вершин по 3:
С = 100!/3!*97! =98*99*100/6= 161700