Cách 1: Đây là hệ phương trình có vế trái đẳng cấp bậc hai.
Đặt $y=kx$ ta được hệ:
$\begin{cases}3k^2x^2-2kx^2=160 \\k^2x^2-3kx^2-2x^2=8 \end{cases} \Rightarrow \begin{cases}x^2(3k^2-2k)=160 (1')\\x^2(k^2-3k-2)=8 (2') \end{cases} $
Vì $x\neq 0$, chia $(1')$ cho $(2')$ vế với vế, ta được:
$\frac{3k^2-2k}{k^2-3k-2}=20 \Rightarrow 17k^2-58k-40=0 \Rightarrow k_1=4; k_2 =-\frac{10}{17} $.
* Với $k_1=4 \Rightarrow y=4x$. Thay vào $(1)$ ta đưa về phương trình bậc hai đối với $x$:
$48x^2-8x^2=160 \Rightarrow x_1=-2; x_2=2$.
Với $x_1=-2 \Rightarrow y_1=-8; x_2=2 \Rightarrow y_2=8$.
* Với $k_2=-\frac{10}{17} \Rightarrow x_3=-8,5; x_4=8,5 $.
Với $x_3=-8,5 \Rightarrow y_3=5; x_4=8,5 \Rightarrow y_4=-5$.
Kết quả: Hệ phương trình có bốn nghiệm $(-2; -8), (2; 8), (-8,5; 5), (8,5; -5)$.
Cách 2: Từ phương trình $(1)$, rút $x$ theo $y$ ta được: $x=\frac{3y^2-160}{2y} $.
Đem thế vào phương trình $(2)$ ta được phương trình trùng phương với ẩn $y$:
$y^4-89y^2+1600=0$.
Phương trình trùng phương này có $4$ nghiệm:
$y_1=8; y_2=-8; y_3= 5; y_4=-5$.
Ta tính được các giá trị tương ứng của $x$.
$x_1=2; x_2=-2; x_3=-8,5; x_4=8,5$.
Kết quả: Hệ phương trình có bốn nghiệm $(-2; -8), (2; 8), (-8,5; 5), (8,5; -5)$.