Нет, оперативной памяти 3 Гб. Возможно чтото в настройках рендера нетак? я уже перепробовал очень много разных вариантов. Либо возможно гдет оесть настройка, чтобы МАХ мог забирать больше системной памяти? файл подкачки тоже немаленький -4 Гб. А вообще, макс при просчете данной сцены не больше 600мб оперативки ест. Возможно дело в отражающих поверхностях сцены, Возможно, существует лимит отражений волос?

Поставьте (если не ставили) обновления на MAX.
Вылет может быть связан с переполнением памяти, например стека или какогонибудь буфера, ошибкой в программе. Если есть возможность - попробуйте 64-битную версию MAX (операционная система тоже должна быть 64-битной).

Да, поставил на 64хбитную висту 64хбитный макс, все норм рендерит даже 6000 волос) но как решить задачу в ХР 32 бита, как расширить дамп памяти или что-то в этом роде, подскажите, где задать этот вопрос

Дамп памяти расширять не нужно, это отладочная инфо при ошибке. В 32 разрядной ситеме на базе XP это может не решится никак (аппаратные и програмные ограничения платформы).
Возможно в случае включения PAE (Расширенные физические адреса) и материнской платой, способной "нести" более 4 ГБ... Но это надо экспериментировать... Также, стоит попробовать ключ /3GB. Почитать об этом можно сдесь

/3GB — Этот параметр появился в третьем сервис паке для NT 4.0 и существует на всех более поздних версиях. Этот ключ поменяет стандартное распределение между пользователем и системой карты виртуальной адресации NT, то есть пользователь получит в свое распоряжение 3GB, а система 1GB. Предоставление большей виртуальной памяти прикладным программам, интенсивно использующим память подобно серверам баз данных может улучшать их производительность. Однако, чтобы приложение смогло использовать это преимущество, оно должно быть помечено как приложение 3GB-aware (обычно такие приложения, например MS SQL 2000 имеют соответствующую настройку в параметрах).
/PAE — Загружает версию ядра NT с расширением физических адресов