Решение не сложно, но требует знаний особенностей решения неоднородных линейных уравнений.

Начнём.

1. Сначала ищется общее решение(оно получается с произвольными константами), затем, для решения задачи Коши в это решение подставляются начальные условия, в результате, как правило, получается алгебраическая система уравнений, из которой и находятся конкретные значения этих коэффициентов.

2. Общее решение неоднородного линейного уравнения, как правило, ищется в виде Y=Yо+Yч, где Yо- ОБЩЕЕ решение однородного уравнения, Yч-ЧАСТНОЕ решение общего уравнения.

3. Займёмся однородным уравнением.

Оно в нашем случае имеет вид

у"-2*у'=0

действуя по общей схеме, составляем характеристическое уравнение

Л^2-2*Л=0, откуда

Л=2, Л=0, а значит, ОБЩЕЕ решение нашего однородного уравнения имеет вид

Yо=С1*exp(2*х)+С2 

4. Теперь попробуем найти ЧАСТНОЕ решение нашего уравнения.

Поглядим на правую часть

 6*х*(1+х)^2=6*х^3 + 12*x^2 + 6*x это многочлен 3 степени.

Частное решение будем искать тоже в виде многочлена, но 4 степени(просто слева в нашем уравнении отсутствует У, поэтому степень нужно повысить), то есть в виде

Yч=A*x^4 + B*x^3 + C*x^2 + D*x + E

Подставим это наше исходное уравнение и получим

Y'ч = 4*A*x^3 + 3*B*x^2 + 2*C*x + D

Y"ч = 12*A*x^2 + 6*B*x + 2*C

Y"ч-Y'ч = (-4*A)*x^3 + (12*A - 3*B)*x^2 + (6-2*C) + (2*C-D) 

Приравнивая коэффициенты при одинаковых степенях этого многочлена и нашего в правой части, получим систему

-4*A=6

12*A - 3*B = 12

6 - 2*C = 6

2*C-D = 0

Её очень легко решить, получив

А=-3/2; B=-10; C=0; D=0;

таким образом ЧАСТНОЕ решение нашего уравнения имеет вид

Yч = (-3/2)*x^4 - 10*x^3

5 А ОБЩЕЕ решения нашего исходного уравнения вид

Y = Yо + Yч = С1*exp(2*х)+С2 + (-3/2)*x^4 - 10*x^3

6 Теперь займёмся задачей Коши.

у(0)=0; у'(0)=1;

Так как Y' = 2*С1*exp(2*x)  - 6*x^3 - 30*x^2, получим систему

Y(0) = C1 + C2 = 0

Y'(0) = 2*C1     = 1, откуда

С1 = 1/2; С2=-1/2.

7 Всё!! Мы решили исходную задачу и решение задачи Коши исходного уравнения имеет вид.

Y = (1/2)*exp(2*х) - (1/2) + (-3/2)*x^4 - 10*x^3

И, наконец, не списывайте решение, а попробуйте САМИ его получить, следуя инструкциям. Я не исключаю, что мог допустить некоторые арифметические неточности.

Успехов.