(х^2-2х-7)^2<(x^2-6x-3)^2
(х^2-2х-7)^2-(x^2-6x-3)^2<0
(х^2-2х-7+(x^2-6x-3))(х^2-2х-7-(x^2-6x-3))<0
(х^2-2х-7+x^2-6x-3)(х^2-2х-7-x^2+6x+3)<0
(2x^2-8x-10)(4x-4)<0
Разделим на 2 обе части неравенства, а потом на 4
(x^2-4x-5)(x-1)<0
(x+1)(x-5)(x-1)<0
Решаем методом интервалов
Контрольные точки -1; 5;1
Расставим их на числовой прямой, прямая разобьётся  на три промежутка, (5; +бесконечность) знак +, (1;5) знак -, (-1;1) знак +,
(-бесконечность;-1) знак-. Нам нужны знак -
x принадлежит промежутку (-бесконечность;-1) знак объединения (1;5).