Trước hết ta có bài toán phụ sau :
Cho $a,b,c \ge 0$ thì $(a+b+c)^3 \ge 6\sqrt{3}(a-b)(b-c)(c-a)$
Thật vậy, không mất tính tổng quát, giả sử $a=\max(a,b,c)$
+ với $a \ge b \ge c $ thì $VT \ge 0 \ge VP$, đúng.
+ với $a \ge c \ge b $ thì BĐT tương đương với: $(a+b+c)^6 \ge 108 (a-b)^2.(b-c)^2 . (c-a)^2$
Nhận thấy:
$VP \le 108 a^2.c^2.(a-c)^2=27. 2ac.2ac.(a-c)^2 \le \dfrac{((a-c)^2+2ac+2ac)^3}{27}= (a+c)^6 \le (a+b+c)^6$
Áp dụng BĐT trên, dùng hằng đẳng thức ta có:
$(a-b)^3+(b-c)^3+(c-a)^3=3(a-b)(b-c)(c-a) \le \dfrac{1}{2\sqrt{3}}$
Vậy $\max P = \dfrac{1}{2\sqrt{3}}$ chẳng hạn khi $b=0 , a= \dfrac{2+\sqrt{3}}{3+\sqrt{3}} , c=\dfrac{1}{3+\sqrt{3}}$