Aastal 1949 abiellus Hefner tudengi Mildred Williamsiga, kes oli temaga ühevanune. Neile sündis kaks last: tütar Christie Hefner (s. 1952) ja poeg David (s. 1955). Vahetult enne pulma tunnistas pruut Hefnerile üles, et pettis teda, kui viimane sõjaväes oli – seda hetke meenutas mees hiljem kui oma elu kõige masendavamat hetke. Küll aga oli siin peidus ka plusspool: naisel olid sedavõrd suured süümepiinad, et ta lubas Hefneril vastutasuks teiste naistega magada, lootuses nende abielu päästa. Mõistagi lõppes selline kooselukorraldus lahutusega aastal 1959.

Pärast seda hakkas juba Playboyle jalad alla saanud Hefner laia elu elama, mille poolest teda ka alati mäletama jäädakse. Ta hakkas teadlikult harrastama võimalikult pillavat elulaadi, hakkas tegema telesaateid (mõlemad ühe aasta vastu pidanud “Playboy's Penthouse” ja “Playboy After Dark”). Ka töötas ta väga aktiivselt ajakirjade kallal ning magatas paljusid naisi, kellest üha arvukamad tema vastu ka kohtuasju esitasid.

1971. aastal eksperimenteeris Hefner enda sõnul ka üha moodsamaks saava biseksuaalsusega. Äri aga üha kasvas ning algselt Chicagost alguse saanud Playboy sai endale 1975. aastaks peamise residentsi Los Angeleses.

Kui Hefner oli 59-aastane, tabas teda väike rabandus, mis pani meest oma eluviise üle vaatama ning pärast seda tõmbas ta pidutsemist veidi tagasi. Aastal 1988 andis ta oma impeeriumi aktiivse väljaandmise tütre Christie hoole alla. Aasta hiljem aga abiellus Playboy modelli Kimberley Conradiga, kes oli mehest 36 aastat noorem. Abielust sündis kaks poega: Marston Glenn (s. 1990) ja Cooper Bradford (s. 1991). Kuulsast Playboy häärberist, kus käisid varem lõppematud peod, sai neil aastail perekonnaelamu. Kui abielu 1998. aastal otsa sai, kolis naine kõrvalmajja ning endine elu sai jätkuda.

2009. aasta alguses teatas Hefner, et tema uus kallim on temast 60 aastat noorem erootikamodell Crystal Harris, kes liitus Hefneri “haaremiga” pärast seda, kui lõppes mehe 7-aastat kestnud suhe Holly Madisoniga, kes mehest 53 aastat noorem oli. 2010. aasta detsembris sai Harrisest Hefneri kolmas seaduslik abikaasa ning oli seda lõpuni välja. Küll aga oleks abielu napilt suisa katki jäänud – Harris katkestas juunis 2011, viis päeva enne pulmi kihluse. Playboy juulikuu number oli pühendatud Playboy-papa uuele kaasale loosungi “Tutvustame Ameerika uut printsessi, proua Crystal Hefnerit!” all ning oli juba trükis, seega kleebiti kõik numbrid üle tekstiga “Põgenev pruut”.

Paar sai kriisipunktist aga üle ning pulmad peeti 2012. aasta viimasel päeval Playboy häärberis. Hefner oli 86 ning Harris 26.

Playboy looja on tunnistanud erinevates intervjuudes, et on elu jooksul kokku maganud üle 1000 naisega, kuid vannub, et seda vaid vallalise mehena. “Mu elus on olnud pikki perioode, kus olen olnud abielus ja abielus olles ei petnud ma iialgi – korvasin seda siis, kui olin vaba mees. Tuleb ju masinavärki töös hoida,” on ta öelnud. Tõeline vanakooli härrasmees!