基本設定は
「一般設定」 -> 「メールアドレス」を指定
「ディスカッション設定」 -> 「新しい投稿へのコメントを許可する」をオン
「ディスカッション設定」 -> 「自分宛のメール通知」-> 「自分宛のメール通知 コメントが投稿されたとき」をオン
上記の合計3項目です。
ログオフして実際にコメント投稿をして通知メールが届くか確認します。
<以降は詳細未確認情報です>
しかし、それでも通知メールが届かない時があります。
「名前とメールアドレスの入力を必須にする」がオンの時ですが、
コメント投稿時に存在しないドメインのメールアドレスを使用して投稿すると届きません。
また、WordPressの古いバージョン(3.2.1以前)だとメールアドレス必須にも関わらず、未入力でもコメントが投稿できる場合があったみたいです。