а) Если поделить правую часть уравнения на 3, то остаток будет либо 0, либо 1.
рассмотрим левую часть:
1.при x>=3, тогда x! mod 3 = 0 (это остаток от деления на 3), но т.к. x! будет произведением чисел, содержащим тройку, то (x!-1) mod 3 = 2. Правая часть остатка 2 дать не может, значит этот вариант отпадает.
2.при х=1. 1!=1, тогда 1-1=0, y²=0, y=0, но т.к. нуль не является натуральным числом, этот вариант тоже не подходит.
3.x=2. 2!=2, тогда 2-1=1, y²=1, y=±1. Т.к -1 не является натуральным числом, то имеем единственный ответ: x=2; y=1.  
b) по аналогии
система.
если НОД(x,y)=c; то x=ca, y=cb; a,b - взаимно простые числа, тогда можно переписать верхнее ур-е:
7a=11b
11b/a=7; из определения о взаимнопростых числах мы знаем, что нод(a,b) =1, т.о. a является делителем числа 11, и возможны 2 случая:
1. a=1; 7=11b; b=7/11; а оно не принадлежит мн-ву натуральных чисел. 
2. a=11; b=7. нод(11,7) =1, все подходит, подставляем (a=11, b=7) ⇒ x=495; y=315. -- ответ