Путь у вас начало системы координат в центре экрана. Сначала находите декартовые (т.е. по x и y) координаты трех вершин. Потом переводите их в полярные координаты r и phi. Формулы для перевода можно найти, например, здесь.

Когда вы крутите треугольник, у вас r не изменяется, а phi изменяется по закону . Для каждого момента времени вычисляете новое phi для каждой вершины, а затем переводите r и phi обратно в декартовые x, y и отображаете на экране.

Спасибо)