顽皮女儿确也十分爱怜，每当女儿犯了过错，要想责打，但见她扮个鬼脸搂着自己脖子软语相求，只得叹口长气，举起的手又慢慢放了下来。待得郭芙渐渐长大，外人知道她是郭靖和黄蓉的女儿，多数对她恭敬不已，竟从无一人训斥过她一句。这更加助长了她的骄横。大小武和杨过来到桃花岛，在她想来就是多了三个陪玩的伙伴，无形中就拿出了主人家的那种优越感和自觉。大小武唯唯诺诺，对她巴解讨好。杨过哪里会有这种心情？从来都是对她爱理不理。于是郭芙对他最是不喜欢，又妒忌他受她爸爸妈妈的宠爱，不断教唆大小武和杨过打架。于是三小很快形成了对付杨过的战线。
杨过内力虽突飞猛进，但修行时日太短，也只有武家兄弟现下的水平。不过他们只会写花花架子，杨过总能在不着痕迹之下，轻松的袢他们一跤或把他们推开老远。开始时候三人只当是杨过运气，但十试十败之后终于承认不如杨过了。他们当然坚信是由于师父师母给杨过开了小灶，妒忌怨恨不已。于是开始二打一，扰得杨过不胜其烦。杨过大怒之下，找机会一个人挑翻了他们三个，并天天追着他们打。
三人开始时候很硬气，咬着牙跟想尽一切办法想打败杨过。哪知道饶是他们自许聪明，却从没有胜过一场。几天之后，三人都开始向师父师母哭诉了。黄蓉本就是唯恐天下不乱的性格，见杨过显露了少有的童心，又很有分寸，从不下重手，便嘻笑旁观。甚至还在一边煽风点火。郭靖本来是要管的，但是杨过信誓旦旦的告诉他，这样的压力有利于他们消化郭靖所传授的武功。而事实上三人被杨过追打的三天中的确突飞猛进了——尤其是防守的招式。他便也默许了杨过的调教方式。杨过觉得日子过得无聊，就爱上了用各种手段折磨着三个小鬼这种消遣方式，对郭芙也没有丝毫留情。由于她是三人之首，对她尤其不善。三人对杨过由七分怕三分恨渐渐变成了三分怕七分恨。杨过全当不知。