$cos[\frac{\pi}{8}(3x-\sqrt{9x^2+160x+800})]=1$$\Leftrightarrow \frac{\pi}{8}(3x-\sqrt{9x^2+160x+800})=2k\pi$
$\Leftrightarrow 3x-\sqrt{9x^2+160x+800}=16k$
$\Leftrightarrow 3x-16k=\sqrt{9x^2+160x+800}$
$\Rightarrow 9x^2-96kx+256k^2=9x^2+160x+800$
$\Leftrightarrow (160+96k)x=-(800-256k^2)$
$\Leftrightarrow x=\frac{8k^2-25}{3k+5}=\frac{9k^2-25}{3k+5}-\frac{k^2}{3k+5}=3k-5-\frac{k^2}{3k+5} (1)$
Do đó $\frac{k^2}{3k+5}\in Z\Rightarrow \frac{9k^2}{3k+5}\in Z\Rightarrow \frac{9k^2-25}{3k+5}+\frac{25}{3k+5}\in Z$
$\Rightarrow 3k+5\in U(25)$
Trong các ước của $25$ chỉ có $5 , -25$ chia $3$ dư $2$ tương ứng $k=0 , -10$
Nếu $k=0$ thế vào $(1)$ ta có $x=-5$
Nếu $k=-10$ thế vào $(1)$ ta có $x=-31$