Угол между векторами находится след образом:

cosa=ab/(|a|*|b|)

1)|2a-5b|=17

возведем в квадрат:

4а^2-20ab+25b^2=289

2)расскроем скобки в скалярном произведении:

6a^2-5ab-6b^2=42

умножим на 4 обе стороны:

24a^2-20ab-24b^2=168

3)от верхнего уранения отнимем нижнее:
 49b^2-20a^2=121

49b^2=441

b^2=9

|b|=3

нашли длину вектора b.

тперь чтобы найти скалярное произведение векторов а и b, подставим квадрат длин векторов на  итог 1ого уравнения:

4*16-20ab+25*9=289

ПОД 20ab НЕЛЬЗЯ ПОДСТАВЛЯТЬ ЗНАЧЕНИЯ МОДУЛЯ a и b

найдем аb:

64+225=289+20ab

ab=0

тогда cosa=0/12=0

следоватьно вектора перпендикулярны и угол между ними равен 90 градусов

cos(A)=a*b/(|a|*|b|)

Определим длину вектора b

|2a-5b|=17

4a^2-20ab+25b^2=289

c  другой стороны

(3a+2b)(2a-3b=42 => 6a^2+4ab-9ab-6b^2=6a^2-5ab-6b^2=42

Таким образом, имеем систему уравнений

4a^2-20ab+25b^2=289

6a^2-5ab-6b^2=42

Второе уравнение умножим на 4 и вычтем его с первого

-20a^2+49b^2=121

49b^2-20*4^2=121

49b^2=121+320

49b^2=441

b^2=9 => |b|=3

4a^2-20ab+25b^2=289 = > 4*4^2-20ab+25*3^2=289 => 20ab=0 =>ab=0

тогда

cos(A)=a*b/(|a|*|b|)=0?(3*4)=0 => A=90°