Могу предложить следующий алгоритм:
1. При запуске калькулятор ищет уже запущенный и если не нашёл, то он получает номер 1, иначе номер 2 и т.д.
2. Приложение при запуске или через определённый промежуток также ищет все запущенные копии калькулятора,
получая при этом их хэндлы.
3. Зная хэндлы всех калькуляторов, приложение посылает всем сообщение с запросом их номера.
4. Зная хэндлы и соответствующие им номера, можно посылать любому калькулятору что угодно.