1、离婚不一定可以要求女方退回彩礼，退回彩礼有严格的条件限制：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
2、法律依据：《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释(一)》第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。