Phương pháp giải:

- Tìm tập hợp các điểm biểu diễn số phức z.

- Gọi \(M\left( {a;b} \right)\) là điểm biểu diễn số phức z.

- Khi đó: \({\left| z \right|_{\min }} \Leftrightarrow O{M_{\min }}\).

Lời giải chi tiết:

Vì  \(\left| {z - 2 - 8i} \right| = \sqrt {17} \)nên tập hợp điểm biểu diễn của số phức z là đường tròn (C) tâm \(I\left( {2;8} \right)\), bán kính \(R = \sqrt {17} .\)

Gọi \(M\left( {a;b} \right)\) là điểm biểu diễn số phức z. Khi đó ta có \(\left| z \right| = OM\).

Do đó \({\left| z \right|_{\min }} \Leftrightarrow O{M_{\min }} \Rightarrow M\) là giao điểm của đường thẳng OI và đường tròn (C).

Ta có đường thẳng OI có dạng \(y = 4x\)

M là giao điểm của đường thẳng OI và đường tròn (C) nên tọa độ điểm M là nghiệm của hệ phương trình: \(\begin{array}{l}\left\{ \begin{array}{l}y = 4x\\{\left( {x - 2} \right)^2} + {\left( {y - 8} \right)^2} = 17\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}y = 4x\\{\left( {x - 2} \right)^2} + {\left( {4x - 8} \right)^2} = 17\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}y = 4x\\17{\left( {x - 2} \right)^2} = 17\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}y = 4x\\{\left( {x - 2} \right)^2} = 1\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}y = 4x\\\left[ \begin{array}{l}x - 2 = 1\\x - 2 =  - 1\end{array} \right.\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}x = 3,\,\,y = 12\\x = 1,\,\,y = 4\end{array} \right. \Leftrightarrow \left[ \begin{array}{l}M\left( {3;12} \right)\\M\left( {1;4} \right)\end{array} \right.\end{array}\)

Với M(3;12) thì \(OM = \sqrt {{3^2} + {{12}^2}}  = 3\sqrt {17} \).

Với M(1;4) thì \(OM = \sqrt {{1^2} + {4^2}}  = \sqrt {17} \).

Vậy \(O{M_{\min }} = \sqrt {17}  \Leftrightarrow a = 1,\,\,b = 4\) \( \Rightarrow m = 2{a^2} - 3b =  - 10.\)

Chọn C.