Здравствуйте, goldssky@yandex.ru!
Вы спрашивали "Как получилась формула: A^2 B^2(1+r^2)---?" - такая формула никак не получилась ни в у меня в Маткаде, ни в минифоруме Вашего параллельного Вопроса rfpro.ru/question/194490 , заданного Вами в разделе "Математика". Зато в том q194490 Вы сформулировали "Мне нужно в результате интегрирования получить формулу A^2 B^2(1+r^2)."

К сожалению, бесплатный Маткад быстро выполняет только численные рассчёты, а в символьном виде он способен возвращать формулы только для простых операций. На прилагаемом скриншоте в правой его части Вы видите пример символьного выражения для интегрирования простой функции Q(x) = E·cos([$969$]·x)

Мой Маткат за 15 минут вычислений так и не смог отобразить на экран громоздкую формулу в символьном виде для Вашего двойного интеграла. Можно было бы посоветовать Вам использовать более мощный платный Матлаб, или просить экспертов-математиков возиться с Вашим двойным интегралом, или изощряться с упрощающими заменами в Маткаде… Но это будут бесполезные траты времени, потому что Ваша цель - ложна.
Вы и сами могли убедиться, что быстрый численный рассчёт двойного интеграла в Маткаде возвращает число 54 , а Ваша желаемая формула возвращает число 45 (см Otv1= на скрине). То есть, это стремление "подтасовать" - заведомый промах.

Если Вашу простую желаемую формулу подправить немного, тогда можно увидеть кое-какие "проблески" истины:
Ответ2 = 2·A²·B²·(1-r²) совпадает с результатом двойного интеграла при любых значениях A и B , но только при r=1/2 .
Ответ3 = 2·A²·B²·(1-r)² совпадает с результатом интеграла при любых значениях A и B , но только при r=1/4 .
То есть переменные A и B Вы сопоставили верно, а с переменной r что-то напутали. Ищите ошибку в процессе получения Вами Условия Вашей задачи. =Удачи!