Здравствуйте, Tsikin!
y''+2y'-8y=3sinx
y''+2y'-8y=0
Подстановка
y=e^tx
y'=te^tx
y''=t²e^tx
t²e^tx+2te^tx-8e^tx=0
Делим на e^tx
t²+2t-8=0
D=4+32=36
t₁=(-2+6)/2=2
t₂=(-2-6)/2=-4
y₁=e^2x
y₂=e^-4x
y_o=C₁*e^2x+C₂*e^-4x
Коэффициент при синусе в правой части неоднородного уравнения равен 1: t=1*i не является корнем характеристического уравнения, указанного выше.
Значит решение неоднородного уравнения ищем в виде
y=a*cosx+b*sinx
y'=-a*sinx+b*cosx
y''=-a*cosx-b*sinx
-a*cosx-b*sinx+2(-a*sinx+b*cosx)-8(a*cosx+b*sinx)=3sinx
(-b-2a-8b)sinx+(-a+2b-8a)cosx=3sinx
-2a-9b=3
-9a+2b=0

a=(3+9b)/(-2)
-9(3+9b)/(-2)+2b=0
-27-81b-4b=0
85b=-27
b=-27/85
a=(3-9*27/85)/(-2)=(255-243)/(-170)=-12/170=-6/85
y_чн=-6/85*cosx-27/85*sinx
y=y_o+y_чн
y=C₁*e^2x+C₂*e^-4x-6/85*cosx-27/85*sinx
y'=2C₁*e^2x-4C₂*e^-4x+6/85*sinx-27/85*cosx
Применим ачальные условия:
y(0)=1
1=C₁+C₂-6/85
y'(0)=-1
-1=2C₁-4C₂-27/85

C₁=1+6/85-C₂=91/85+C₂
-1=2*91/85+2C₂-4C₂-27/85
2C₂=182/85-27/85+1=155/85+1=240/85=48/17
C₂=48/(17*2)=24/17
C₁=91/85+24/17=(91+120)/85=211/85
y=211/85*e^2x+24/17*e^-4x-6/85*cosx-27/85*sinx