1880年6月27日、アメリカ合衆国のアラバマ州タスカンビアで誕生した。父のアーサー・ケラーはスイスのドイツ語圏から移住したドイツ系の地主の息子で、南北戦争当時南軍大尉でドイツ系アメリカ人である。アーサーの母（ヘレンの祖母）のマリー・フェアファックス・ケラーはイングランド系アメリカ人の南軍の総司令官、ロバート・E・リーとははとこの関係[注 1]にある。母のケイト・アダムス・ケラーもアーサーの母と同じくイングランド系アメリカ人であり、その父（ヘレンの祖父）のチャールズ・アダムス（英語版）は南軍の准将であった。両親ともに南部の名家の出身である。兄弟は異母兄2人（ジェームズ、シンプソン）、のちに同母妹のミルドレッドを持つ。

1882年、1歳半の時に高熱（現在では猩紅熱と考えられている）に伴う髄膜炎に罹患した。医師と家族の懸命な治療により一命は取り留めたものの、視力と聴力を失い、話すことさえ出来なくなった。そのため両親からしつけを受けることの出来ない状態となり、非常にわがままに育った。