Можно через соотношение площадей квадрата и вписанного в него круга:
1) задаем 2 случайных числа от 0 до n. Считаем это координатами точки.
2)проверяем, попадет ли точка в круг с радиусом n/2
3) считаем количество всех точек и попавших. Находим их соотношение.
При большом количестве точек можно найти число пи довольно точно.