Ta có : \({\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right)^2} = \dfrac{{{a^2}}}{{{b^2}}} + 2\dfrac{a}{b}.\dfrac{b}{a} + \dfrac{{{b^2}}}{{{a^2}}} = \dfrac{{{a^2}}}{{{b^2}}} + \dfrac{{{b^2}}}{{{a^2}}} + 2 \Rightarrow \dfrac{{{a^2}}}{{{b^2}}} + \dfrac{{{b^2}}}{{{a^2}}} = {\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right)^2} - 2\)

Biến đổi biểu thức $P$ về dạng $P = 3{\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right)^2} - 6 - 8\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right) = 3{\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right)^2} - 8\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right) - 6$

Đặt $t = \dfrac{a}{b} + \dfrac{b}{a} \Rightarrow {t^2} = {\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right)^2}$.

Áp dụng bất đẳng thức \({\left( {x + y} \right)^2} \ge 4xy\,\,\forall x,y\) với hai số \(\dfrac{a}{b}\) và \(\dfrac{b}{a}\) ta có : ${t^2} = {\left( {\dfrac{a}{b} + \dfrac{b}{a}} \right)^2} \ge 4\dfrac{a}{b}.\dfrac{b}{a} = 4 \Leftrightarrow \left| t \right| \ge 2 \Leftrightarrow \left[ \begin{array}{l}t \ge 2\\t \le - 2\end{array} \right.$

Biểu thức $P$ trở thành $P = 3{t^2} - 8t - 6$.

Trục đối xứng \(x = - \dfrac{b}{{2a}} = \dfrac{4}{3}\) và hệ số $a = 3 > 0.$

Suy ra hàm số $f\left( t \right) = 3{t^2} - 8t - 6$ nghịch biến trên khoảng $\left( { - \infty ;\dfrac{4}{3}} \right)$ và đồng biến trên khoảng$\left( {\dfrac{4}{3}; + \infty } \right)$.

BBT :