1947年，謝晉和徐大雯結為伉儷。無論是工作還是家庭生活，徐大雯都是謝晉的最佳拍檔，她不僅燒得一手好菜，還將謝晉每部戲從劇本到電影的創作素材都裝訂成冊，整理得井井有條。

謝晉和徐大雯育有一女三子，但遺憾的是，謝晉的三個兒子中，有兩個都是患有智障的殘疾兒。唯獨大兒子謝衍繼承了謝晉在影視上的創作天分，但為了照顧父親和弟弟，謝衍終生未婚，到了患病不治時，依然隱瞞著家人獨自安排后事。

三兒子從小患有嚴重哮喘，曾經多次走失，不治身亡時年僅38歲。而后，謝晉把精力都放在了小兒子“阿四”身上 ——這也是謝晉最放心不下的一個孩子：身患癲癇的阿四在生活上難以自理，日常起居都由謝晉和徐大雯包辦。為了防止兒子走丟，專門為他設計了一張“身份牌 ”，“我叫阿四，是謝晉的兒子，家住XXX，電話XXX。”

雖然家庭多難，但謝晉徐大雯依舊對生活充滿希望，他們曾經不止一次地表示，每次看自己拍攝的智障兒童題材影片《啟明星》都會淚流滿面。“從孩子出生到現在，吃了一輩子的苦，最痛苦的事情是，孩子自己不知道痛苦，痛苦的是他們的家長。”