Bình phương pt2 có $x+y -2 +\sqrt{xy -(x+y)+1}=16$
$\Rightarrow x+y +\sqrt{xy-(x+y)+1}=14$
Đặt $x+y =S;\ \sqrt{xy}= P \ge 0$ hệ đưa về
$\begin{cases} S+P=3 \\ S+ \sqrt{P^2-S+1}=14 \end{cases}$
Rút $S=3-P$ thế pt dưới có
$\sqrt{P^2 -(3-P)+1}=14-(3-P)= 11 +P$
$\Leftrightarrow \begin{cases} P\ge -11 \\ P^2 +P -2 = (11+P)^2 \end{cases} \Leftrightarrow P=-\dfrac{41}{7}$ loại vì $P<0$
Hệ đã cho vô nghiệm