安妮的这种圣徒般的、谦卑而毫无生气的形象同她被解雇的情景大相径庭。当时，她所以被解雇，是因为她把两个孩子绑在桌子腿上，不让他们吵闹，而自己则继续进行工作。这种形象同维多利亚时代评论家的看法是有出入的，他们用自己的观点来解释安妮在《艾格妮丝·格雷》中对当时的教育观点进行直率的讽刺以及她对艾格妮丝所照管的孩子们的残忍和野蛮行为所进行的毫无顾忌的描写；安妮认为这种行为是“古怪而讨厌的”。这种形象同安妮在《怀尔德菲尔府的房客》（又译《女房客》）再版序言中对这些评论家进行勇敢反击的行为当然也是不相符的。夏洛蒂很可能根本不了解安妮，附带说一句，勃兰威尔也是如此，她在安妮十四岁时根本没把她当回事儿，说她“微不足道，根本不算什么”。还要指出的是，安妮的小说同简·奥斯丁的小说很近似，而夏洛蒂从来就不愿意去喜欢“奥斯丁小姐的·温柔的目光一。有些人一直要我们相信安妮是她姐姐和哥哥的褪色的翻版，而当时的实际情况却绝非如此。不过，这是后话了。
    1840年初，安妮回到牧师住宅，想另找一份工作。夏洛蒂和艾米莉也在家里。就是在这个时候，她们产生了自己在家里开办学校的想法。夏洛蒂和艾米莉曾经尝过当家庭教师的苦楚，也体验过别人的盘剥。姐妹三人都觉得，她们只有一起待在哈沃斯，才能感到幸福。
    1840年夏天，安妮成了约克近郊桑普格林府埃德蒙·鲁宾逊家的家庭教师。《艾格妮丝·格雷》中市侩气息很重的默里一家就是以鲁宾逊一家为蓝本的。安妮在那里并不愉快。她在1841年的“生日记述”中写道，“我不喜欢这家人家，想换一个环境。”艾米莉在同年的“生日记述”中说，安妮“离乡背井，受尽折磨”（原文如此），夏洛蒂在给埃伦·纳西的信中（就是那封把安妮说成是“一个心情压抑而有耐心的异乡人”的信）写道，“我内心有一种隐痛……就是为安妮担心；她忍受了这么多痛苦，比我经历过的痛苦要多得多……她比我更孤独，更不善于结交朋友。”在另一封信中，她把安妮回到桑普府的行动说成是“回到埃及和遭受奴役的地方”。
    安妮到鲁宾逊家后不久，写了一首题为《桑普格林纪事》的诗歌。这首诗质朴而动人地反映了她离乡背井的痛苦心情：

    啊，我觉得困乏异常
        虽然泪水已不再流淌；
    我的眼睛因哭泣而疲倦。
        我的心灵因悲哀而心伤

    我的生活非常孤独，
        每天每日都沉重而漫长……

五年中，她大部分时光是远离家乡，同鲁宾逊一家待在一起。这一段时期，夏洛蒂和艾米莉曾到布鲁塞尔去进修法语和德语，目的是为取得更令人注目的资历和丰富拟议中的学校的课程。
    1843年，勃兰威尔也到桑普格林去当家庭教师。1845年初，安妮似乎有点察觉他同鲁宾逊太太之间的暧昧关系。这一年6月她辞去了职务，并在1845年7月的“生日记述”中回忆起1841年的那段记述：

    自从写那篇日记以来，发生了多少事情呀——有些是愉快的，有些却远非如此。不过那时我是在桑普格林，现在我刚从那里逃了出来。早在四年前我就想离开那里。要是当时我知道要在那里待上四年，我会感到多么不幸。不过我在那里发现了人们身上一些令人极不愉快、以前梦想不到的品质。

艾米莉在同一天的日记里提到开办学校的计划失败的经过：

    我本该提到的是，去年夏天，我们又起劲地考虑开办学校的计划——我们印了简介，给所有的熟人写信介绍我们的设想，我们竭尽微薄的力量，但是发现行不通——现在我根本不想办学校了，大家都对办学失去了兴趣。

勃兰威尔姨妈死于1842年，当时夏洛蒂和艾米莉正在布鲁塞尔。姨妈把自己的财产留给了勃朗特姐妹，因此艾米莉说，她们有“足够的钱”来满足日常开支，“还可以有些积余”。
    研究勃朗特姐妹的评论家和传记作者，没有认识到安妮长期与社交如此广泛、为人如此世故的鲁宾逊一家密切接触的意义。他们只着重于研究安妮发现勃兰威尔同鲁宾逊太太的关系后给她造成的心灵创伤以及日后勃兰威尔的自我毁灭过程对她们姐妹的影响。然而，这一段经历确实对安妮小说的形成产生了影响，早就决定她要写奥斯丁式的风俗小说，而不是她两个姐姐根据各自不同的经历而写的那种充满孤寂、激情和忧虑的意识的小说。例如，盖斯凯尔夫人是这样描写夏洛蒂和艾米莉在彭纳特里格的表现的：

    人们总是在花园里消磨他们的闲散时光。这时姐妹俩总在一起散步．往往什么话也不说。艾米莉虽然身材要高得多，却老靠在姐姐身上。夏洛蒂总是有问必答；凡是人们对她们两人谈话时，也总是夏洛蒂率先回答的。艾米莉同任何人都不大说话。

这是很典型的情景。人们有理由认为，连夏洛蒂本人都不曾完全摆脱害羞和谦卑的心理状态。在勃兰威尔被解雇以后，鲁宾逊姐妹同安妮的通信曾一度中断，以后又恢复了。在很长一段时期内几乎是一天一封信。这表明，在桑普格林的五年中，安妮同她们建立了密切的关系，她们常向安妮讨教。