1929年、ペンシルベニア州フィラデルフィアのアイルランド系カトリックの裕福な家に生まれた。父ジョン・ブレンダン・ケリー（John B. Kelly, Sr.）はスラム育ちの煉瓦職人であったが、上流階級の競技であるボート競技で頭角を現し、ボート関係者の嫌がらせにもめげず、オリンピックボート競技において1920年のアントワープオリンピックで2個の金メダルを獲得し一躍国民的英雄になった。そして1924年のパリオリンピックでも金メダルを1個獲得した。その後、彼は煉瓦製造会社を立ち上げ億万長者になった。母マーガレット（1898年 - 1990年）はドイツ系で元モデルであり大学講師だった。父方の叔父はピューリッツァー賞を受賞した劇作家のジョージ・ケリー（英語版）。兄は1956年のメルボルンオリンピックのオリンピックボート競技で銅メダルを獲得したジョン・ブレンダン・ケリー・ジュニア（1927年 - 1985年）。

少女時代はおとなしく、人前に姿を現すのが苦手な赤い頬の子供で、3人姉妹の中でも真ん中のグレースが1番不器用であったという。その一方、ダンスやピアノを学び、やがて演技に興味を示すようになる。