HPT $\Leftrightarrow \begin{cases}x^2+y+xy+xy(x^2+y)=- \frac{5}{4}\\ (x^2+y)^2+xy=- \frac{5}{4} \end{cases} (*)$
Đặt \[u=x^2+y\\v=xy\]
HPT
$(*)\Leftrightarrow \begin{cases}u+v+uv=- \frac{5}{4}\\ u^2+v=-
\frac{5}{4} \end{cases} \Leftrightarrow \begin{cases}v=-
\frac{5}{4}-u^2\\ u- \frac{5}{4}-u^2- \frac{5}{4}u-u^3=- \frac{5}{4}
\end{cases} $
$\Leftrightarrow
\begin{cases}v=- \frac{5}{4}-u^2\\ u^3+u^2+\frac{u}{4}=0 \end{cases}
\Leftrightarrow \left[ {\begin{matrix} \begin{cases}u= 0\\ v= -
\frac{5}{4}\end{cases}\\\begin{cases}u=- \frac{1}{2} \\ v=- \frac{3}{2}
\end{cases} \end{matrix}} \right.$
Với $u= 0, v=-
\frac{5}{4}$. Ta có HPT $\begin{cases}x^2+y=0 \\ xy=- \frac{5}{4}
\end{cases}\Leftrightarrow \begin{cases}x=\sqrt[3]{\frac{5}{4}} \\ y=
-\sqrt[3]{\frac{25}{16}}\end{cases}$
Với $u=-
\frac{1}{2} , v=- \frac{3}{2} $. Ta có HPT $\begin{cases}x^2-
\frac{3}{2x}+\frac{1}{2} =0 \\ y=- \frac{3}{2x}
\end{cases}\Leftrightarrow \begin{cases}2x^2+x-3=0 \\ y=- \frac{3}{2x}
\end{cases}\Leftrightarrow \begin{cases}x= 1\\ y=- \frac{3}{2}
\end{cases}$
Vậy HPT đã cho có nghiệm $(x; y)=\left (
\sqrt[3]{\frac{5}{4}} ; -\sqrt[3]{\frac{25}{16}} \right )$ hoặc $(x;
y)=\left (1;- \frac{3}{2} \right )$.