Здравствуйте, Рыбакин Иван Сергеевич.
Предположу что в условии все же опечатка и ваше уравнение выглядит так:
y''+5y'+6y=(x+1)e^-2x
Имеем линейное неоднородное дифференциальное уравнение второго порядка с постоянными коэффициентами. Как известно, общее решение такого уравнения представляет собой сумму частного решения неоднородного уравнения и общего решения соответствующего однородного уравнения.
Запишем соответствующее однородное уравнение:
y''+5y'+6y=0
Тогда характеристическое уравнение имеет вид:
k²+5k+6=0
Данное уравнение имеет два различных вещественных корня:
k₁= - 2 и k₂= - 3
Тогда общее решение соответствующего однородного уравнения имеет вид:
y=C₁e^-2x+C₂e^-3x
В правой части этого уравнения - произведение многочлена первой степени на показательную функцию e^ax при a=-2. Так как среди корней характеристического уравнения имеется только один корень k₁=a=-2, то r=1. В данном случае многечлен первой степени. Поэтому частное решение данного уравнения ищем в виде:
y=(Ax+B)xe^-2x=(Ax²+Bx)e^-2x
Дифференцируя и подставляя в уравнение, получаем
2Ax+2A+B=x+1
Приравнивая коэффициенты при одинаковых степенях x в обеих частях равенства:
2A=1, 2A+B=1, находим A=1/2, B=0.
Подставляя найденные значения A и B в выражение для y, получаем частное решение данного уравнения:
y=(x²/2)e^-2x
Тогда общее решение имеет вид:
y=C₁e^-2x+C₂e^-3x+(x²/2)e^-2x
Удачи