để pt có nghiệm thì $\triangle' =-4m^2+16\geq 0$
$\Rightarrow -2\leq m\leq 2$(1)
theo vi et
$\begin{cases}x_1+x_2=2m \\ x_1.x_2=5m^2-16\end{cases}$
$P=5.(x_1+x_2)^2-4x_1.x_2-17(x_1+x_2)$$=-34m+64$ (2)
từ (1) và (2) $\Rightarrow -4\leq P\leq 132$
vậy $P_{min}=-4$ tại $m=2$