Здравствуйте, Denya Tropinin!
Сначала решаем однородное уравнение y''+5y'+6y=0.
Составляем характеристическое уравнение [$955$]²+5[$955$]+6=0.
Его корни [$955$]=-2,[$955$]=-3.
Общее решение однородного уравнения y=C₁e^-2x+C₂e^-3x

Далее находим частное решение неоднородного уравнения. Это решение ищем в виде y=Acos2x+Bsin2x.
Подставляя это в уравнение и приводя подобные члены, получим
(2A+10B)cos2x+(-10A+2B)sin2x=12cos2x
Приравнивая коэффициенты при синусах и косинусах справа и слева, получаем систему
2A+10B=12
-10A+2B=0
Решая систему, находим A=3/13, B=15/13.

Таким образом, общее решение дифференциального уравнения
y=C₁e^-2x+C₂e^-3x+(3/13)cos2x+(15/13)sin2x

Далее используем данные Коши: y(0)=1, y'(0)=3. Это дает систему
C₁+C₂+(3/13)=1
-2C₁-3C₂+(30/13)=3
Решая систему, находим C₁=3, C₂=-29/13

Ответ: y=3e^-2x-(29/13)e^-3x+(3/13)cos2x+(15/13)sin2x

Здравствуйте, Denya Tropinin!

Очевидно, что задача заключается не в доказательстве тождества, а в решении дифференциального уравнения. Решить заданное уравнение можно разными способами, в частности, используя операторный метод.

Вместо переменной x введём переменную t.

Имеем





Запишем уравнение в операторном виде:






Представим правую часть выражения (1) в виде суммы простейших дробей:










(для нахождения коэффициентов A, B, C, D по формулам Крамера использована электронная таблица MS Excel).

Следовательно,



Оригиналом изображения (2) является функция

что после перехода от переменной t к переменной x даёт искомое решение:


Проверьте, пожалуйста, выкладки во избежание ошибок.

С уважением.