Nếu đề cho $x,y$ là các số nguyên thì làm như sau
$pt \Leftrightarrow 8x^2-4xy-y^2+12x-20=0$$\Leftrightarrow9x^2+12x-20-(x^2+4xy+4y^2)=0$
$\Leftrightarrow(9x^2+12x+4)-(x^2+4xy+4y^2)=24$
$\Leftrightarrow(3x+2)^2-(x+2y)^2=24$
$\Leftrightarrow(3x+2-x-2y)(3x+2+x+2y)=24$
$\Leftrightarrow(2x-2y+2)(4x+2y+2)=24$
$\Leftrightarrow(x-y+1)(2x+y+1)=6=1.6=(-1).(-6)=2.3=(-2).(-3)$
Vì $2x-y+1;x+y+1$ là các số nguyên
Ta có các trường hợp
$(1) : \begin{cases}x-y+1=1 \\ 2x+y+1=6 \end{cases}\Leftrightarrow \begin{cases}x= \frac{5}{3} \\ y= \frac{5}{3}\end{cases}$
$(2):\begin{cases}x-y+1=6 \\ 2x+y+1=1 \end{cases}\Leftrightarrow \begin{cases}x=\frac{5}{3} \\ y=\frac{-10}{3} \end{cases}$
$(3):\begin{cases}x-y+1=-1 \\ 2x+y+1=-6 \end{cases}\Leftrightarrow \begin{cases}x=-3 \\ y=-1 \end{cases}$
$(4):\begin{cases}x-y+1=-6 \\ 2x+y+1=-1 \end{cases}\Leftrightarrow \begin{cases}x=-3 \\ y=4 \end{cases}$
$(5): \begin{cases}x-y+1=2 \\ 2x+y+1=3 \end{cases}\Leftrightarrow \begin{cases}x=1\\ y=0 \end{cases}$
$(6):\begin{cases}x-y+1=3\\ 2x+y+1=2 \end{cases}\Leftrightarrow \begin{cases}x=1 \\ y=-1 \end{cases}$
$(7):\begin{cases}x-y+1=-2 \\ 2x+y+1=-3 \end{cases}\Leftrightarrow \begin{cases}x= \frac{-7}{3}\\ y=\frac{1}{3} \end{cases}$
$(8):\begin{cases}x-y+1=-3 \\ 2x+y+1=-2 \end{cases}\Leftrightarrow \begin{cases}x= \frac{-7}{3}\\ y=\frac{5}{3} \end{cases}$
Loại các trường hợp $(1);(2);(7);(8)$ vì $x,y$ ko nguyên
Vậy ta có 4 cặp $(x,y)$ thõa mãn là : $(-3,-1);(-3,4);(1,0);(1,-1)$