在中国，离婚彩礼钱是一种古老的传统风俗，通常是由女方家庭支付给男方家庭的一种财物。然而，随着社会的发展和我国法律的进步，离婚彩礼钱在我国法律上并没有被确认为一种法定财产，因此在离婚时需要退还给男方的问题并不是一个普遍适用的规定。
根据中国的《婚姻法》，夫妻离婚时应当一并处理共同财产，并按照我国法律规定进行分割。而离婚彩礼钱不属于共同财产范畴，因此在离婚时并没有明确规定需要退还给男方的义务。但是，如果双方在离婚协议中有另行约定，或者法院在判决离婚时认定需要退还离婚彩礼钱的情况下，男方有权要求女方退还。
在一些地方，法院在判决离婚时可能会考虑男方家庭支付的彩礼款项，但这并不是我国法律的硬性规定，而是根据具体情况来进行判决。因此，男方在离婚时想要要求女方退还彩礼钱，需要根据具体情况来进行协商或者向法院提出请求。
另外，需要注意的是，如果彩礼钱是以财产形式支付的，比如房产、车辆等，那么在离婚时可能会涉及到共同财产的分割，男方有权要求女方按照我国法律规定进行分割。但如果是以现金形式支付的彩礼钱，那么在离婚时是否需要退还给男方就要根据具体情况来确定。
总的来说，离婚彩礼钱是否需要退还给男方并没有一个统一的答案，需要根据具体情况来进行判断。在离婚时，双方可以协商或者向法院提出请求，如果不能达成一致意见，最终还是需要按照我国法律规定进行处理。希望双方能够理性对待离婚彩礼钱的问题，避免因为财产纠纷而引发更大的矛盾。
