Bài này có hai cách , một cách sử dụng đạo hàm , ý tưởng đơn giản nhưng tính toán hơi cồng kềnh . Cách sau đây nhẹ về mặt tính toán nhưng hơi thiếu tự nhiên
Trước hết ta áp dụng BĐT cơ bản
$4ab\le(a+b)^2\le2(a^2+b^2)\Rightarrow ab\le1\le \frac{a^2+b^2}{2}$
GTNN của $P$
$P=3a^2b^2+3ab+2\sqrt{a^2+b^2}$
$\ge2ab+2\sqrt{a^2+b^2}$ . Ta sẽ CM GTNN của biểu thức này là $4$
$2ab+2\sqrt{a^2+b^2}\ge4$
$\Leftrightarrow \sqrt{a^2+b^2}\ge2-ab$
$\Leftrightarrow a^2+b^2\ge (2-ab)^2$
$\Leftrightarrow 4-2ab\ge4-4ab+a^2b^2$
$\Leftrightarrow 2ab\ge a^2b^2$ Đúng vì $ab\in[0,1]$
Đẳng thức xảy ra $\Leftrightarrow ab=0\Leftrightarrow (a,b)=(0,2),(2,0)$
Vậy GTNN của $P$ là $4$ khi có một số bằng $0$ , một số bằng $2$
GTLN của $P$
$P=3a^2b^2+3ab+2\sqrt{a^2+b^2}$
$\le 3+3ab+\sqrt2.(a^2+b^2)$ Vì $ab\in[0,1] , a^2+b^2\ge2$
$=3+(3-2\sqrt2)ab+2\sqrt2ab+\sqrt2(a^2+b^2)$
$\le 3+(3-2\sqrt2)+\sqrt2(2ab+a^2+b^2)$
$=6-2\sqrt2+\sqrt2.4=6+2\sqrt2$
Đẳng thức xảy ra $\Leftrightarrow ab=1\Leftrightarrow a=b=1$
Vậy GTLN của $P$ là $6+2\sqrt2$ khi $a=b=1$