次日，靖蓉要回桃花岛，陈盛嚷着要跟去，能跟随当代大侠，他爹自是同意 ，于是一行人辞别陈父到东海边，雇了大船向桃花岛使去。靖蓉夫妇在船舱内，郭芙拉着杨过等人到舱外玩，她突然多了几个年纪相若的小朋友，自是欢喜之极。
杨过第一次出海，但见碧波飘荡，无边无际，耳畔涛声回转，清晰依然。突然一波浪打了过来，船轻微地晃了晃，杨过顿觉脚底空虚，连忙抓紧船舷，郭芙见状，忍不住“扑呲”一笑，道：“大哥哥，没出过海？”，杨过腼腆地望了望望郭芙，却不答话。一旁的小武轻蔑地冷笑道：“乡巴佬”，郭芙瞪了小武一眼，道：“没问你，你插什么话，大哥哥，我们到那边去玩”，说罢拉着杨过走开。小武被喷得一脸无趣，正要接话，大武看在眼里，赶紧拍了拍弟弟的肩膀，道：“别多事”，他知道自己的弟弟气狭，从小就因些鸡毛蒜事跟人争吵打架，怕他惹出事来。小武狠狠地握紧拳头，盯着杨过，暗想：“总有一天，要出这口恶气”。
程英性格文静，言语甚少，愣愣地眺望着大海，想着从此便寄人篱下，心不免忧伤，大武时不时找些话说，她均是敷衍应过。陆无双自是想和杨过一起，却被小胖子缠着问这问那的，又见郭芙横蛮，总在杨过左右，心甚是懊恼。
郭芙拉着杨过到另一头，时日初升，云海被映得橙红鲜亮，远处，渔船点点，近处，波涛连绵，时不时几只海鸥掠过眼前。郭芙兴奋之极，道：“大哥哥，快抱我上船舷，我要站高点看”。这可惨了杨过，站在舷上连他自己都没这个胆，这不是要他的命嘛！他见霞光映在女孩的脸上，红扑扑的甚是娇美，怯怯地道：“坐我肩膀好了”，郭芙瞟了他一眼，道：“胆小鬼，蹲下”，杨过乖乖地蹲下来。郭芙驾轻就熟地跨了上去，她自幼不是坐她爹的就是坐老瞎子的，坐肩膀是她唯一的技术活。“起来”，郭芙抓着杨过的头发往上提，杨过极是听话直起身子，双手握着荡在胸前的小脚，配合得天衣无缝。
“大哥哥，快看！”，郭芙指着太阳道：“像不像昨天吃的鸡蛋黄？”，杨过但见远处红润诱人，时空交融着万丈霞光，不禁心旷神怡，道：“像”。
舱内，郭靖听得女儿与杨过嬉闹，微笑着对黄蓉道：“蓉儿，我向来有个心愿，你自然知道。今日天幸遇到过儿，我的心愿就可得偿了。”黄蓉早知他的心意，摇头道：“两孩子还小啦，急啥？过几年再说吧”，她虽也喜欢杨过，但想到杨康之死，心中不免有根刺。郭靖见黄蓉脸带忧色，又如何不知？不禁叹道：“杨康兄弟自幼在金国王府之中，这才学坏。但愿过儿有过即改，也不枉我帮他取这个名字。”
船将近岛，杨过已闻到海风中夹着花香，时正值岛上桃花盛开，远远望去，岛上桃红柳绿，郁郁葱葱。下得船来，遍地绿草似茵，软如棉絮。郭靖领路在桃林中曲曲折折地走了数里，转过一座山冈，前面出现一大片草地，草地之北是一排竹林。竹林内有座竹枝搭成的凉亭，亭上横额在写着“试剑亭”三字，两旁悬着副对联，正是“桃华影落飞神剑，碧海潮生按玉箫”，黄药师的手笔。
亭中放着竹台竹椅，全是多年旧物，用得润了，现出淡淡黄光。竹亭之侧并肩耸立两棵大松树，高挺数丈，枝干虬蟠，苍松翠竹，清幽无比。曲曲折折地转出竹林，眼前出现一大片荷塘。塘中白莲盛放，清香阵阵，莲叶田田，一条小石堤穿过荷塘中央。郭靖踏过小堤，将众人领入一座精舍。那屋子全是以不刨皮的松树搭成，屋外攀满了青藤。各人走进书房，哑仆送上茶来。（岛上描写取自射雕）
郭靖道：“以后桃花岛就是你们的家，大家需得相亲相爱，迟些日子，我与郭伯母便传授你们桃花岛的武功”。说罢叫黄蓉把各孩子的住处安排好。
一连几日，靖蓉忙着丐帮事物，无暇顾及这几个孩子，这几天中，七人都在捕捉蟋蟀相斗为戏。
这一日，小武武修文捕得一只甚是雄骏的大蟋蟀，兴致勃勃地去找郭芙想送给她，远远见到郭芙与杨过在一起，气的牙齿咬得格格作响，这些日子他总处处讨好郭芙，然郭芙却不待见。杨过自然成了他的眼中钉。武修文跑了过去，道：“杨过，有胆和我的大将军斗斗吗”，语气甚是轻蔑。郭芙望了望他瓦盆中的蟋蟀，笑道：“大将军？你的也算大将军？我大哥哥的可是皇帝啦”，不知怎地，她总觉得武修文甚是讨厌。杨过微微笑了笑，他自幼戏蟀，于各种蟋蟀了如指掌，见武修文盆中的只是一种常见的土蟀，个头虽大，却中看不中用，杨过揭开竹筒盖，筒口对着瓦盆，一会儿一只个头较小的黑蟀跃出，小黑蟀昂头纵跃而前，那大蟀不敢接战，想跃出盆去。小黑蟀也即跃高，在半空咬住大蟀的尾巴，双蟀齐落，那大蟋蟀抖了几抖，翻转肚腹而死。原来蟋蟀之中有一种喜与毒虫共居，与蜈蚣共居的称为“蜈蚣蟀”，与毒蛇共居的称为“蛇蟀”，因身上染有毒虫气息，非常蟀所能敌。杨过所捉到的小黑蟀正是一只蛇蟀。
郭芙见杨过的黑蟀胜出，高兴得手舞足蹈，讥讽道：“小武哥，还大将军呢，真不害臊！”，说罢用小指头划划脸蛋，吐出舌头做了个鬼脸。武修文气得脸红一阵，青一阵，狠狠地道：“赢个蟋蟀有啥了不起，有种和我拳头上比试比试”。说罢一脚狠狠地把瓦盆踢飞，那只小黑蟀受到惊吓，跃了几下就不见踪影。吓得郭芙呆立一旁。
杨过见武修文总无事找事，挺是碍眼，然亦不愿理会，拉着郭芙的手就欲离开。武修文说什么也要打一打，他仗着家传武学渊源，今日定要教训杨过这眼中钉。他在背后冷冷地道：“杨过，我听柯公公说了，你爹不是好人，是个卖国贼，我看你也是孬种！”
杨过一听，气得全身发抖，转身怒道：“你…你说什么！”武修文见杨过生气，心中暗喜，续道：“我说啥不重要，你这么激动，感情是被我说中了”。杨过平素十分怀念父亲，在他心目中，父亲自是慈父形象，今被骂成卖国贼，他再也压不住怒气，冲了上去，一拳挥向武修文。武修文早有提防，身子一侧躲开，顺势一拳打中杨过胸口，杨过忍住胸口闷痛，硬是乱打一气，毫无章法。很显然，穆念慈并未传授他武功，不久便又挨多了几拳。
郭芙在旁急得大叫：“别打了，小武哥，杨大哥，快停手”，她见两人越斗越狠，吓得花容失色。
武修文听到郭芙叫唤，突心生毒计，跃到郭芙旁边，故意扭头望着郭芙，卖了个破绽，杨过打得两眼发红，抢过去一掌就往武修文脸上刮，谁知武修文一低头，手掌从他头上掠过，“啪”地一声，正正打在郭芙脸上。
杨过赶紧停手，双手扶住郭芙的肩膀，慌张地道：“芙妹…我…”，却接不下话。武修文见计得逞，心中狂喜，大吼道：“芙妹，他打你，我帮你报仇”，说罢，挥动双拳扑向杨过。两人又扭做一团。
郭芙挨了一耳光，脸上火辣辣地，眼泪汪汪地楞了会，她怎么也搞不清为什么大哥哥会打自己，见杨过被武修文按在地上暴打，不懂得心疼还是脸疼，忍不住“哇”地一声哭了起来。
黄蓉在屋里隐约听得女儿哭声，忙循声奔出，见杨过武修文二人犹自扭打，连忙喝住，黄蓉上前抱起女儿，问道：“什么事？”郭芙伏在母亲怀里，却只懂得哭。武修文忙道：“是杨过，他打芙妹”，杨过咬着牙，欲辩无言。黄蓉善观人察色，见武修文眼中闪过一丝狡黠，已略知一二，她深知杨过极其呵护自己女儿，当中是非定有缘由。
这时郭靖也奔了出来，知是两人打架，好生着恼。领众人回了书房。郭靖端坐后严肃地望着站在前面的几位孩子，问道：“是谁先动的手？”，武修文一指杨过道：“是他！”，郭靖一听，脸色更沉，转眼望着杨过，他对这孩子最是疼爱，总担心他言行有失正道，心不免恼怒，问道：“是吗过儿，你为何动手打人？我说过要彼此相亲相爱，这么快就忘了？”。杨过怒气未消，道：“是他骂我父亲，说我父亲是卖国贼”，郭靖听提及义弟，心中一酸，接不上话。
黄蓉知他丈夫不善言辞，怕他说出什么话来，忙道：“靖哥哥，这几天你也累了，先去休息吧，这几个孩子等我来教”，郭靖对杨康之死，一直耿耿于怀，杨过还小，不便道出真相，暗想自己确实不知如何教导，只得叹了口气，离开书房。
黄蓉见女儿犹自抽泣着，这女儿虽顽皮，自己却从不舍得打骂，她瞪着杨过，虽知杨过是无心之失，但见宝贝女儿小脸上烙下五个指印，楚楚可怜，不免越想越气，缓缓道：“过儿，你过来”，杨过也知自己该死，不安地走了过去，黄蓉随手抓起台上的尘扫狠狠地往他小腿抽了几下，虽不带内力，却也打的杨过嗷嗷直叫。