ĐK: \[x,y\geq -1\]
Hệ pt:
\[\Leftrightarrow \begin{cases}x+y-\sqrt{xy}=3\\x+y+2+2\sqrt{x+y+xy+1}=16\end{cases}\]
Đặt:
A = x + y; B = xy
Hệ pt
\[\Leftrightarrow \begin{cases}A-\sqrt{B} = 3\\A+2+2\sqrt{A+B+1}=16\end{cases}\]
\[\Leftrightarrow \begin{cases}B=\left(A-3 \right)^{2}\\4\left(A+B+1 \right)=\left(14-A \right)^{2}\end{cases}\]
\[\Leftrightarrow \begin{cases}B=A^{2}-6A+9\\4\left(A+B+1 \right)=196-28A+A^{2}\end{cases}\]
\[\Leftrightarrow \begin{cases}B=A^{2}-6A+9\\A^{2}-32A-4B+192=0\end{cases}\]
Thay B ở pt(1) vào pt(2) ta có:
\[A^{2}-32A-4(A^{2}-6A+9)+192=0\]
\[\Leftrightarrow 3A^{2}+8A-156=0\]
\[\Leftrightarrow A=6 \Rightarrow B=9\]
Hoặc
\[ A=-\frac{26}{3} \Rightarrow B=0\]
TH1:
A=6; B=9
\[ \Leftrightarrow \begin{cases}x+y=6 \\xy=9 \end{cases}\]
giải hệ trên ta được x = y = 3
TH2:
\[ A=-\frac{26}{3} \Rightarrow B=0\]
\[ \Leftrightarrow \begin{cases}x+y=\frac{-26}{3} \\xy=0 \end{cases}\]
----> VN
Vậy nghiệm của hệ là x = y = 3