Ta có : $c=3-(a+b)$, thế vào $P$ ta được
$P=\frac{ab}{3+[3-(a+b)]^2} + \frac{b[3-(a+b)]}{3+a^2} + \frac{[3-(a+b)]a}{3+b^2}$
=$\frac{ab}{12-6(a+b)+(a+b)^2} + \frac{3b-b(a+b)}{3+a^2} + \frac{3a-a(a+b)}{3+b^2}$
=$\frac{ab}{12-6(a+b)+(a+b)^2} + \frac{[3b-b(a+b)][3+b^2]+[3a-a(a+b)][3+a^2]}{(3+a^2)(3+b^2)}$
=$\frac{ab}{12-6(a+b)+(a+b)^2} + \frac{9(a+b)+3(a^3+b^3)-3(a+b)(a+b)-(a+b)(a^3+b^3)}{9+3(a^2+b^2)+a^2b^2}$
=$\frac{ab}{12-6(a+b)+(a+b)^2} + \frac{9(a+b)+3(a+b)(a^2-ab-b^2)-3(a+b)^2-(a+b)^2(a^2-ab+b^2)}{9+3(a+b)^2-6ab+a^2b^2}$
=$\frac{ab}{12-6(a+b)+(a+b)^2} + \frac{9(a+b)+3(a+b)[(a+b)^2-3ab]-3(a+b)^2-(a+b)^2[(a+b)^2-3ab]}{3(a+b)^2+(3-ab)^2}$
=$\frac{ab}{12-6(a+b)+(a+b)^2} + \frac{-(a+b)^4+3(a+b)^3-3(a+b)^2+9(a+b)+3ab[(a+b)^2-3(a+b)]}{3(a+b)^2+(3-ab)^2}$
Áp dụng BĐT $Cauchy$ cho $2$ số $a,b$, ta được: $ab\leq \frac{(a+b)^2}{4}$
Nên $P\leq $ $\frac{(a+b)^2}{4[12-6(a+b)+(a+b)^2]} + \frac{-(a+b)^4+3(a+b)^3-3(a+b)^2+9(a+b)+\frac{3(a+b)^2[(a+b)^2-3(a+b)]}{4}}{3(a+b)^2+[3-\frac{(a+b)^2}{4}]^2}$
=$\frac{(a+b)^2}{48-24(a+b)+4(a+b)^2]} + \frac{-\frac{(a+b)^4}{4}+\frac{3(a+b)^3}{4}-3(a+b)^2+9(a+b)}{\frac{(a+b)^4}{16}+\frac{3(a+b)^2}{2}+9}$
Đặt $t=a+b$ với $0<t<3$ do $c=3-(a+b)=3-t>0$
$f(t)=\frac{t^2}{48-24t+4t^2} + \frac{-\frac{t^4}{4}+\frac{3t^3}{4}-3t^2+9t}{\frac{t^4}{16}+\frac{3t^2}{2}+9}$
$f'(t)=\frac{-3t(t-4)}{2(t^2-6t+12)^2} - \frac{12(t^2+8t-12)}{(t^2+12)^2}$
Cho $f'(t)=0 \Rightarrow -24(t^2+8t-12)(t^2-6t+12)^2-3t(t-4)(t^2+12)^2=0$
hay $-27(x-2)^2(x^2+6x-24)(x^2-6x+16)=0$
$\Rightarrow x=2 \vee x= -\sqrt{33}-3 \vee x= \sqrt{33}-3$
Lập bảng biến thiên cho hàm số $f(t)$ với $0<t<3$
Ta tìm được GTLN của $f(t)$ khi $t=\sqrt{33}-3$
$\Rightarrow a+b=\sqrt{33}-3 \Rightarrow a=b=\frac{\sqrt{33}-3}{2}$ và $c=3-(a+b)=6-\sqrt{33}$