Đặt $x^2+y^2 =a, xy=b$ thì HPT
$\begin{cases}a^2-2b^2=17 \\ a^2b=10 \end{cases}\Leftrightarrow \begin{cases}a^2-2\left ( \frac{10}{ a^2} \right )^2=17 \\b=\frac{10}{ a^2} \end{cases}\Leftrightarrow \begin{cases}a^6-17a^4-200=0\\b=\frac{10}{ a^2} \end{cases}. $
PT $a^6-17a^4-200=0$ là PT bậc 3 với ẩn $a^2$ nhưng PT này có nghiệm không đẹp nên bài toán này nên dừng lại ở đây.