Здравствуйте, crasher!

У вас в исходнике в методе Гаусса не ведется работа с массивом ответов а его тоже нужно делить на выбранный элемент.
URL >>
Посмотрите по этой ссылке решение, думаю это Вам поможет.

Дело в том что у Вас не переставляются строчки в методе Гаусса а только происходит операция с индексами и при выполнении обратного шага происходит деление на нуль. нужно переписать идея то у вас правильная но нужно переставлять массивы целиком.

В приложении пример, как можно поправить программу (решение не совсем красивое, но рабочее).
Так нужно вызывать его в программе:


Приложение:
void glavelem( int k, double mas[50][50], int n, int otv[] )
{
int i, j, i_max = k, j_max = k;
double temp;
//Ищем максимальный по модулю элемент
for ( i = k; i < n; i++ )
for ( j = k; j < n; j++ )
if ( fabs( mas[i_max] [j_max] ) < fabs( mas[i] [j] ) )
{
i_max = i;
j_max = j;
}
//Переставляем строки
for ( j = k; j < n + 1; j++ )
{
temp = mas[k] [j];
mas[k] [j] = mas[i_max] [j];
mas[i_max] [j] = temp;
}
//Переставляем столбцы
for ( i = 0; i < n; i++ )
{
temp = mas[i] [k];
mas[i] [k] = mas[i] [j_max];
mas[i] [j_max] = temp;
}
//Учитываем изменение порядка корней
i = otv[k];
otv[k] = otv[j_max];
otv[j_max] = i;
}




// переменные можно и не передавать
void GausResh(/*double * A, double *B, unsigned int razm*/)
{
// для простоты преобразовываем к одной матрице
double mas[50][50];// лучше перевести на указатели
int i,j,k;
int ot[50];
double prot[50];


// определяем массив
//для удобства
for(i=0;i<Dim;i++)
{
for (j=0;j<Dim;j++)
{
//*(mas+(i*Dim+1)+j)=A[i][j];
mas[i][j]=A[i][j];

}
mas[i][Dim]=B[i];
ot[i]=i;
}
// главный ход
for(k = 0; k < Dim ; k++)
{
glavelem(k,mas,Dim,ot);
for ( j = Dim; j >= k; j-- )
mas[k] [j] /= mas[k] [k];
for ( i = k + 1; i < Dim; i++ )
for ( j = Dim; j >= k; j-- )
mas[i] [j] -= mas[k] [j] * mas[i] [k];
}
// обратный ход
for ( i = 0; i < Dim; i++ )
X[i] = mas[i] [Dim];
for ( i = Dim - 2; i >= 0; i-- )
for ( j = i + 1; j < Dim-1; j++ )
X[i] -= X[j] * mas[i] [j];

// расстанавливаем значения икса в нужном порядке
// массив prot - массив решения
for ( i = 0; i < Dim; i++ )
for ( j = 0; j < Dim; j++ )
if ( i == ot[j] )
{ //Расставляем корни по порядку
prot[i]=X[j];
//break;
}

}