離婚の取消はできないでしょう。不貞について、慰謝料は請求できる可能性はあります。弁護士に相談されたほうがよいかと思います。
離婚については、行き違いがないからです。不貞については、後で損害賠償をすることが可能だからです。