Phương pháp giải:

Sử dụng công thức nhân đôi: \(\sin 2a = 2\sin a\cos a\) và \(1 - \cos 2a = 2{\sin ^2}a\).

Lời giải chi tiết:

\(\begin{array}{l}\dfrac{{{{\sin }^2}2a + 4{{\sin }^2}a - 4}}{{1 - 8{{\sin }^2}a - \cos 4a}} = \dfrac{{{{\left( {2\sin a\cos a} \right)}^2} - 4\left( {1 - {{\sin }^2}a} \right)}}{{\left( {1 - \cos 4a} \right) - 8{{\sin }^2}a}}\\ = \dfrac{{4{{\sin }^2}a{{\cos }^2}a - 4{{\cos }^2}a}}{{2{{\sin }^2}2a - 8{{\sin }^2}a}} = \dfrac{{ - 4{{\cos }^2}a\left( {1 - {{\sin }^2}a} \right)}}{{2{{\left( {2\sin a\cos a} \right)}^2} - 8{{\sin }^2}a}}\\ = \dfrac{{ - 4{{\cos }^2}a.{{\cos }^2}a}}{{8{{\sin }^2}a{{\cos }^2}a - 8{{\sin }^2}a}} = \dfrac{{ - 4{{\cos }^4}a}}{{ - 8{{\sin }^2}a\left( {1 - {{\cos }^2}a} \right)}}\\ = \dfrac{{{{\cos }^4}a}}{{2{{\sin }^2}a{{\sin }^2}a}} = \dfrac{1}{2}\dfrac{{{{\cos }^4}a}}{{{{\sin }^4}a}} = \dfrac{1}{2}{\cot ^4}a\end{array}\)

Chọn D.