pt⇔ab(a+b)2+ab−(a+b)+1=4
⇔ab(a+b)2−(a+b)+(ab−3)=0
Nếu [a=0b=0⇔[b=−3a=−3
Nếu ab≠0
pt⇔ab(a+b)2−(a+b)+(ab−3)=0
Xem đây là tam thức bậc 2 ẩn (a+b)
Ta có (a+b)∈Z⇔Δ chính phương, đặt Δ=δ2
Δ=1−4ab(ab−3)
=−4a2b2+12ab+1=δ2
Giải phương trình nghiệm nguyên 2 ẩn ab,δ
Ta thu đc ab=0 (loại), ab=1,ab=2,ab=3
Giả sử a≥b và ta có a=b=1∨a=b=−1∨a=2,b=1∨a=−1,b=−2∨a=3,b=1∨a=−1,b=−3
Lần lượt thay vào pt ban đầu, ta chỉ nhận a=b=1
Tập nghiệm S={(−3;0),(0;−3),(1;1)}