阿伦的母亲安·艾弗森出生在哈特福德犹太区，有4个兄弟.15岁那年，她入选了教会高中女篮，但在例行体检时被意外告知:她怀孕了！这样，她不得不来到了弗吉尼亚州的汉普顿和祖母住在一起，因为她的母亲在她12岁那年就过世了.安回忆说:"那天大雨滂沱，她离开我的那一霎那，我觉得天都塌了.我站在雨中大声哭喊‘上帝呀！你为什么要这样？你怎么能这样啊！‘"安知道这个未出世的孩子的父亲是谁，他是阿伦.布鲁顿，是她在哈特福德的同学.
布鲁顿曾经说过很爱她.就像许多年轻人一样，布鲁顿面对即将担负"父亲"这一职责毫无预备.多年后，他在接受《费城日报》采访时说:"我当时很想去汉普顿找安，但我当时也只有15岁.不久，她爱上了别人，我也一样.我们就失去了生活在一起的机会."
1975年6月7日，阿伦·艾弗森来到了这个世界上.安回忆说:"那时候，四面的朋友都叫我祈求是个男孩，这样我在将来才会有所依*.当医生把阿伦抱给我看时，我兴奋地大叫一声:‘上帝，是个男孩！‘我平生第一次抱起了芭比娃娃以外的娃娃，发现他的手臂比芭比娃娃的长好多，一个念头一闪而过，‘我该让这小家伙学打篮球‘."
在小艾弗森出生后不久，安就带着他回到了哈特福德见他的父亲.不久她就发现，这儿的环境不利于小艾弗森的成长，"暴力、毒品随处可见，我告诉自己将永远不要回来."3岁的小艾弗森和母亲离开了布鲁顿.不久前，安说:"我知道我们将面临的严重处境，但我不怪布鲁顿，永远不会.我也告诫艾弗森不要责备他的生父.我为布鲁顿感到万分遗憾，因为他不能分享阿伦今日的成就，他和阿伦只能形同路人."
安是阿伦幼年时期回忆的全部，这是母子之间颠扑不破的爱的纽带，"她是我最仰慕的人，"阿伦·艾弗森将母亲的画像文在胸前，"我不崇拜任何明星，她才是我的偶像.她总是提醒我，说我终将有所作为.我相信她的话.有些母亲在那样的困境中也许早就放弃了，她却迎难而上.我真的庆幸我是安的儿子."
不久，安就结识了新男友麦克尔.弗里曼，和他一起住进了廉价的斯特沃德花园公寓，它位于弗吉尼亚州一座叫纽斯特的小城最东边.来到之后，安发现这里的环境比哈特福德更糟糕，光天化日之下就能见到毒品交易和枪战.在安18岁那年，她得到了医院赔偿给她母亲的3818美元，但这没能维持多久.随后，安和弗里曼又有了两个女儿———1979年出生的布兰蒂和1991年出生的莉莎(正是由于莉莎的病情，艾弗森才在1996年下定决定加盟NBA的).
他们的家境愈发窘迫，安不得不四处打工维持生气:当过秘书，开过*车，搞过电焊.艾弗森回忆说:"只要是能够挣钱的工作，安都会去做，不过家里还是一团糟，没电、没水、没吃的，下水管还经常破裂，弄得满屋脏水，两个妹妹整天都穿着套鞋."弗里曼本来还有一份工作，但在1988年的一起交通意外后被解雇了，他的确很想负担起这个家庭，只不过他出入监狱的次数实在是太频繁了.1991年，他因为携带过量毒品被捕，他在法庭辩解说:"我没有卡迪拉克汽车，没有钻戒，没有买任何奢侈品，我只想还债，只想支撑我的家庭."他最终被判入狱22个月，其后又因为违反假释条例加刑23个月.
那段时间，艾弗森对弗里曼的所作所为感到异常愤怒，但现在却原谅他了:"他只是想养家糊口.他没有伤害过任何人，比如他，绝对不会去抢劫，因为那样他会失去这个家.我曾经见到他一个人偷偷哭泣，他不想那样过日子."其实，对艾弗森而言，更重要的是，弗里曼是他的篮球启蒙者.
生父抛弃了他们，养父又进了监狱，15岁的艾弗森不得不放弃了学业."当你成为家中最年长的男人，而母亲比你大不了多少，你还有两个年幼的妹妹时，家里又阴暗又潮湿，你就会知道自己应该做什么了."外面的生活对年幼的艾弗森也不轻易，贫民区里有着上流社会永远不会理解的游戏规则.艾弗森的朋友有的贩过毒，有的坐过牢，有的加入了黑帮，但他总能胜利地远离那些犯法的事件，因为他知道，也许有一天自己能走向胜利.
在一场械斗中，艾弗森一下子失去了8个朋友，包括和他最要好的托尼.他咬着牙对母亲说:"妈妈，我再也不要做穷人了！"于是，他定下了一个帮助全家走出困境的计划，那就是篮球！在一次接受采访时，艾弗森道出了那时的想法:"为了全家，我一定胜利.四面的人告诉我说去NBA的机会只有万分之一，我回答他们说，‘即使失败了，我也一定尝试，我的家人需要我这么做.‘我为我们描绘了美好的生活，我不要再回到那个脏水四溢的廉价公寓里去.