Ta có: (a+1)(b+1)=4 và 3≤(a+b)24+(a+b)⇒a+b≥2.
Đặt: P=3ab+1+3ba+1+aba+b−32−a2−b2
Ta có: P=3a(a+1)+3b(b+1)(a+1)(b+1)+3a+b−52−a2−b2
=34(a2+b2)+34(a+b)+3a+b−52−a2−b2
=−14(a2+b2)+34(a+b)+3a+b−52
=−14[(a+b)2−2ab]+34(a+b)+3a+b−52
=−14(a+b)2+12[3−(a+b)]+34(a+b)+3a+b−52
=−14(a+b)2+14(a+b)+3a+b−1
=−[(a+b)−2][(a+b)2+(a+b)+6]4(a+b)≤0