Здравствуйте, Максим!
Общее решение исходного неоднородного уравнения есть сумма общего решения однородного уравнения y''-y'=0 и частного решения исходного неоднородного уравнения.
Характеристическое уравнение имеет вид k^2-k=0 -> k(k-1)=0 -> k1=0, k2=1. Общее решение однородного уравнения y0=C1+C2*e^x
Частное решение неоднородного уравнения ищем в виде y*=(Ax+B)e^2x
y*'=Ae^2x+2(Ax+B)e^2x=(2Ax+A+2B)e^2x
y*''=2Ae^2x+2(2Ax+A+2B)e^2x=(4Ax+4A+4B)e^2x
Подставим в уравнение:
(4Ax+4A+4B)e^2x-(2Ax+A+2B)e^2x=9xe^2x
2Ax+3A+2B=9x -> 2A=9, 3A+2B=0 -> A=4,5, B=-6,75
y*=(4,5x-6,75)e^2x
y=y0+y*=C1+C2*e^x+(4,5x-6,75)e^2x
y'=C2*e^x+9(x-1)e^2x
Используем граничные условия:
y(0)=C1+C2-6,75=0
y'(0)=C2-9=-5
Отсюда C2=4, C1=6,75-4=2,75
Ответ: y=2,75+4e^x+(4,5x-6,75)e^2x