Đặt $S=x+y;P=xy,$ hệ đã cho trở thành: $\begin{cases}S^2+S-2P=8.(1) \\ P(P+S+1)=M.(2) \end{cases}$
$(1)\Leftrightarrow P=\frac{S^2+S-8}{2}$
Thay vào PT $(2),$ ta được:
$\frac{S^2+S-8}{2}(\frac{S^2+S-8}{2}+S+1)=m$
$\Leftrightarrow 4m=S^4+4S^3-11S^2-30S+48=f(S)$
Xét hàm $f(S), S \in \mathbb R,$ để tìm $\max, \min$ của $f(S)$. Từ đó, ta có hệ PT có nghiệm khi và chỉ khi:
$\min f(S) \le m \le \max f(S).$
$\Rightarrow Ok.$