$pt\Leftrightarrow ab(a+b)^2+ab-(a+b)+1=4$
$\Leftrightarrow ab(a+b)^2-(a+b)+(ab-3)=0$
Nếu $\left[ \begin{array}{l} a=0\\ b=0 \end{array} \right.\Leftrightarrow \left[ \begin{array}{l} b=-3\\ a=-3 \end{array} \right.$
Nếu $ab \ne 0$
$pt\Leftrightarrow ab(a+b)^2-(a+b)+(ab-3)=0$
Xem đây là tam thức bậc 2 ẩn $(a+b)$
Ta có $(a+b) \in \mathbb{Z}\Leftrightarrow \Delta$ chính phương, đặt $\Delta=\delta^2$
$\Delta =1-4ab(ab-3)$
$=-4a^2b^2+12ab+1=\delta^2$
Giải phương trình nghiệm nguyên 2 ẩn $ab, \delta $
Ta thu đc $ab=0$ (loại), $ab=1,ab=2,ab=3$
Giả sử $a \ge b$ và ta có $a=b=1 \vee a=b=-1 \vee a=2,b=1 \vee a=-1,b=-2 \vee a=3,b=1 \vee a=-1,b=-3$
Lần lượt thay vào pt ban đầu, ta chỉ nhận $a=b=1$
Tập nghiệm $S=\{(-3;0),(0;-3),(1;1) \}$