1) (5a + 3b)*(2a - b) = 10a² + 6ab - 5ab - 3b² = 10a² + ab - 3b².

  10a² + ab - 3b² = 10|a|² + a*b*cos(π/2)- 3|b|² = 10*4 + 2*3*0 - 3*9 = 13.

2) Даны: Первый вектор a  = { 1 ,  2 ,  3 }

              Второй вектор  b  = {6 ,  4, -2 }

Находим скалярное произведение векторов:

a · b = ax · bx + ay · by + az · bz = 1 · 6 + 2 · 4 + 3 · (-2) = 6 + 8 - 6 = 8.

Определяем длины векторов:

|a| = √(ax² + ay² + az²) = √(1² + 2² + 3²) = √(1 + 4 + 9) = √14 .

|b| = √(bx²+ by² + bz²) = √(6²+ 4² + (-2)²) = √(36 + 16 + 4) = √56 = 2√14 .

Найдем угол между векторами:

cos α =  (a · b )/(|a||b| )

cos α =  8/(√14 · 2√14 )    =   2/ 7   ≈ 0.2857

Угол равен arc cos(2/7) = 1,28104 радиан или 73,3985 градуса.