父ロバートは、生涯で3度結婚している。初めての結婚は女優エルシー・フォードとで、息子のロバートはエルシーとの間に生まれた。2度目は女優・脚本家のローラ・アーンストと。ローラの病死により、結婚生活は3年で終わりを迎えた。そして3度目は作家のローズマリー・ロジャーズとで添い遂げた。
息子のロバートは「継母の計算によれば、彼らは2000年ちょっとの間、幸せな結婚生活を送ったそうです。ローズマリー・ロジャーズ＝ダウニー、あなたは聖人です。私の思いと祈りを捧げます」と投稿文を締めくくった。ジェレミー・レナー、グウィネス・パルトロウら俳優仲間やファンがお悔やみを伝えている。
父ロバートは俳優、監督、脚本家、撮影技師、プロデューサーとしてハリウッドで活躍。映画俳優としては2011年の『ペントハウス』が最後の出演作となった。
