Gợi ý:
$\begin{cases}xy-3x-2y=16 \\ x^{2}+y^{2}-2x-4y=33 \end{cases}$
$\Leftrightarrow \begin{cases}xy+y-3(x+y)=16 \\ (x+y)^{2}-2(x+y)-2(y+xy)=33 \end{cases}$
Đặt $a=xy+y, b=x+y$ ta có hệ \begin{cases}a-3b=16 \\ b^{2}-2b-2a=33 \end{cases}
$\Leftrightarrow \begin{cases}a=16+3b \\\left[ {\begin{matrix} b=-5 \\ b=13 \end{matrix}} \right. \end{cases}$
Với $ a=55, b=13 $ giải vô nghiệm
Với $ a=1, b=-5 \Leftrightarrow \begin{cases}xy+y=1 \\ x+y=-5 \end{cases}$.