安妮1866年4月14日出生于美国马萨诸塞州西部的一个小村庄—安妮(右)与海伦凯勒(左)—食禄岗。父母的故乡在爱尔兰，1860年逃荒来到美洲新大陆。依靠父亲给附近农场打短工的工作，糊口问题总算解决，但是家中并不富有，不幸一直盘旋在这个家的周围。3岁时，安妮患了很严重的沙眼，却因家中贫穷无钱医治，导致安妮的视力恶化，只有微弱的视力。1874年，母亲得结核病死去，酗酒的父亲狠心抛弃了她和弟弟吉米、妹妹玛丽。后来，在父亲家族其他成员的“临时收养”及“张罗策划”下，姑妈收养了她的弟弟妹妹，堂兄勉强收留了她。

因为眼疾和其他种种生活中不顺心的事件，安妮的脾气从小就让人无法忍受，邻居们都叫她“令人讨厌的小孩”。父母在世的时候，有一次用火钳挟面包烫了手，她用力摔面包；母亲让她照顾睡觉的妹妹，她愤怒地晃摇篮，把妹妹摔到地上；父亲刮胡须时斥责了她，她把瓶瓶罐罐都砸在镜子上……随着年龄的增长，安妮的坏脾气也是有增无减。父母死后，她到堂兄家就更加不驯服了。后来，安妮的妹妹也去世了，10岁的安妮和7岁的吉米则在1876年2月被送进了离家千里的德士堡贫民救济院——所容纳了900多位老弱病残人士的大杂院。