Здравствуйте, Helen!
Универсальное средство решения систем уравнений в Маткаде итерационно, поэтому вначале надо задать начальные приближения для всех неизвестных. Если система имеет неск-ко решений, надо для каждого задать начальные приближения.
Ваша линейная, 3х-мерная система имеет одно решение, поэтому можно не задумываясь задать все начальные значения =0.
Скриншот Маткад-окна с пояснениями и Маткад-файл прилагаю. Вопросы можете задавать в минифоруме.