Đk $...,y \ge0$
Nhận thấy $y=0$ ko thõa nghiệm của hpt
Chia 2 vế $pt(1)$ cho $y >0$
$\Rightarrow \sqrt{2\left( \frac xy \right)^2-6\left( \frac xy \right)+5}+\sqrt{2\left( \frac xy \right)^2+2\left( \frac xy \right)+13}=2\left[ \left( \frac xy \right) +1 \right]$
$\Leftrightarrow \sqrt{2a^2-6a+5}+\sqrt{2a^2+2a+13}=2(a+1)$ ($a=\frac xy$)
$\overset{\text{Giải} \hspace{1mm} \text{pt}}{\Leftrightarrow} a= 2 \Leftrightarrow x=2y$
Thế vào $pt(2)$:
$\Rightarrow 4y\sqrt{2y+2}+2\sqrt{2y+2}=8y^4\sqrt y+4y^2 \sqrt y$
$\Leftrightarrow (2y+1)\sqrt{y+1}=y^2 \sqrt {2y}(2y^2+1)$
$\Leftrightarrow \frac{(2y+1)\sqrt{y+1}}{y\sqrt{2y}}=y(2y^2+1)$
$\Leftrightarrow \frac{(2y+1)\sqrt{y+1}-3y\sqrt{2y}}{y\sqrt{2y}}=y(2y^2+1)-3$
$\Leftrightarrow \frac{(2y+1)^2(y+1)-18y^3}{\left[(2y+1)\sqrt{y+1}+3y\sqrt{2y} \right].y\sqrt{2y}}=2y^3+y-3$
$\Leftrightarrow \frac{-(y-1)(14y^2+6y+1)}{\left[(2y+1)\sqrt{y+1}+3y\sqrt{2y} \right].y\sqrt{2y}}=(y-1)(2y^2+2y+3)$
$\Leftrightarrow (y-1)\left[2y^2+2y+3+ \frac{14y^2+6y+1}{\left[(2y+1)\sqrt{y+1}+3y\sqrt{2y} \right].y\sqrt{2y}}\right]=0$
Dễ thấy biểu thức ngoặc vuông lớn $>0 \forall y \ge0$
$\Rightarrow y=1$
$\Rightarrow \color{red}{\begin{cases}x= 2\\ y=1 \end{cases}}$
____________________________________________
P/s : có thể dùng bđt minkowski ở pt(1) để suy ra $VT \ge VP$ (có dấu bẳng xảy ra khi $x=2y$)