Anneler günü kadar eski olmasa da babalar gününün de bir geçmişi vardır. Bazı tarihçiler, babalar ünü'nün Antik Roma'da bile kutlandığını belirtiyor. Bazı araştırmacılar tarih belirtmezken babalar günü'nün Batı Virginia'da ortaya çıktığını savunuyor.

Batı Virginia'da yaşayan John Dowdy'nin annesi öldükten sonra onun yerini alan babası için böyle bir gün kutlanmasını istediği söyleniyor. Annesinin ardından hayatını çocuklarına adayan babası William Smart'a özel bir gün armağan etmek amacıyla bu fikri ortaya attığını belirtiyor.

Anneler günü kutlanırken babalar gününün olmayışını büyük bir haksızlık olarak nitelendirmiştir. Hemen babasının doğum günü olan 5 haziranın babalar günü ilan edilmesi için çalışmalara başlamış ama bu çalışmalar bir sonraki yılın 19 mayısına kadar sürmüştür.

Babalar günü ilk kez 19 Haziran 1910'da Washington'un Spokane şehrinde kutlanmış daha sonra diğer eyaletlere yayılmıştır.