小三找上门夜半打电话称已在楼下

有一个女人半夜3点多打电话给我老公,老公的手机不小心按了免提,所以我听到一个女人的声音说:我在你家楼下...接着我老公就出去了.我偷偷跟在他后面,看到一个很漂亮的女人等在那里,老公好象在不停的叱呵她.     我是一个比较简单的人,以前一直很信任老公,当时我是接受了这个解释的.后来老公的手机换给我用,我在手机上看到QQ里面不仅有老公的QQ,还有那个女人的QQ,手机是比较私密的东西,老公说和这个女人不是很熟,既然不熟,为什么会把手机给她用来上QQ?
    我直接问我老公这是怎么回事,但是我老公就是不肯回答,只是很光棍的说不知道,我竟然没有很难受,只是觉得很累,特别累...我觉得他们肯定是有问题的,但是他不承认也不可能就怎么离婚,因为我们有三个孩子呢,大家说我该怎么办呢?