Nhận xét rằng y=0 không là nghiệm nên ta viết lại hệ:\begin{cases}x+3y+\frac{7}{y}-8=\sqrt{3xy+6} \\ \sqrt{x+\frac{7}{y}+1}=5-\sqrt{3y+1} \end{cases}
Tiếp đó đặt $a=\sqrt{x+1+\frac{7}{y}};b=\sqrt{3y+1}$
Hệ sẽ trở thành:
\begin{cases}a^2+b^2-10=\sqrt{a^2b^2-a^2-b^2-14} \\ a+b=5 \end{cases}
$\Leftrightarrow \begin{cases}(a+b)^2-2ab-10=\sqrt{a^2b^2+2ab-(a+b)^2-14} \\ a+b=5 \end{cases}$
Từ đó ta quy về giải PT:$15-2ab=\sqrt{(ab)^2+2ab-39}$
Với ĐK a,b không âm ta tìm được $ab=6$ kết hợp với $a+b=5$ thì có a=3,b=2 và các hoán vị.
Từ đó hệ có nghiệm: $(x;y)=(1;1) và (\frac{3}{8},\frac{8}{3})$