デフォルトのカテゴリを変更するには
 ダッシュボード → 設定 → 投稿設定で
  投稿用カテゴリーの初期設定 のところを変更して「変更を保存」をクリックすることで変更可能。

 いやなに、デフォルトが「未分類」なんて味気ないというか、ちょっと異様な感じがしてですね。
 カテゴリーの名前を変更してもよかったのですが、今までの投稿のことを考えると、デフォルトの変更をしたほうがいいと思ったものですから。