二婚老公跟着一个女人私奔了又回来了，我现在想离婚了

我31一个不上不下的年纪我老公是二婚，我们是在51老公网认识的。在我之前他和别人生了两个女儿!谈恋爱那会我19岁，一开始并不知道他有孩子知道的时候已经投了很多感情进去了，我其实就没有妈妈了，一直很想要有一个家是他动心仅仅是因为他对我说了一句宝别怕以后我就是你的家，那时候我很单纯，恋爱脑，即便后来知道他有孩子还是义无反顾在一起，后来在婚姻生活中才发现一切都不是自己想要的样子，没有甜蜜，没有家有的只是不停的家庭琐事，不停的流言蜚语，20岁的我根本处理不了那样复杂的人际关系 我怀孕本来很难受，还要给他带孩子!那几年我们不停的争吵、无休无止，直到我小儿子出生那年，一切都爆发了，洪水猛兽般、他抛下四个孩子和一个比我大的女人私奔了……我当时真的接受不了，我不知道我是怎么熬过那段灰暗的日子的，也许是靠着我两个儿子吧!他们很可爱聪明!后来他出事去坐牢 我带着孩子等了他三年出来变了很多!对我好像也好起来了，他的妈妈帮我们带孩子、我和他一起去工地上搬砖!欠了很多外债不得不拼，我早上四点就起床晚上七八点回来还要烧饭!这样的日子重复了三年!日子又慢慢好起来了，现在他对我又不好了……心累想离婚，又舍不得孩子!各种烦!陌生人你说我该怎么办?