刚结婚三个月就离婚，是男方的过错，彩礼要退吗？

我刚刚结束一段维持了三个月的婚姻，婚后不久我发现老公和前女友来往密切，而且他对自己手机的警惕性非常高，这不得不让我怀疑他出轨了。

和我想象的一样，不过不是被我发现的，而是他自己说出来的，他说娶我是家里的意思，他心里喜欢的一直是前女友，现在他前女友怀孕了，他要为孩子和她负责任。

既然已经这样了，这段婚姻也没有继续下去的必要的，于是我答应了离婚。可没想到离婚后，他父母找到我，让我退还彩礼，说当初结婚买的金饰，就当是补偿我，我想问问大家彩礼要退吗？