不过好在那时候苏武已经在北海生活了将近十年时间了，所以他的生存技能应该是过硬的，养活一家人应该不是太大的问题。既然苏武在北海有了生存下去的技能，那么他最后是怎么回到汉朝去的，结局又如何呢？匈奴单于将苏武放在北海，也不是完全把他忘记了，他曾派卫律数次去北海找他谈话，试图让他屈服，但苏武都拒绝了。前99年李陵投降匈奴之后，他听说苏武在北汉牧羊，但不敢去找他。
后来匈奴单于封李陵为右校王，还把女儿嫁给他，使他成为了匈奴的贵族。为了劝降苏武，匈奴单于曾多次派遣李陵去北海设宴招待苏武，两人交谈了很多，但苏武并没有选择投降。前87年，汉武帝去世，匈奴王觉得这是个劝降苏武的好机会，于是再次派遣李陵去北海劝降他。李陵在将汉武帝去世的消息告知于苏武的时候，他显得十分悲伤，还吐了很多血。
在随后数月间，苏武每天对着汉朝的方向边哭边跪拜，以此来寄托自己对汉武帝之死和自己无法回到汉朝的悲伤之情。但对于李陵的劝降，苏武并没有动摇，但他对李陵的遭遇表示同情，也似乎是原谅了李陵。汉昭帝继位之后，采取了和亲政策，从而改善了汉朝和匈奴的关系。霍光派人去匈奴寻找苏武的下落，但匈奴单于却谎称苏武已经病死了。
后来，汉朝使者通过常惠等人得知苏武还活着，于是又找匈奴单于要人。匈奴单于见无法再隐瞒，于是将苏武在北海的情况告知给了汉朝使者。前81年，苏武跟随汉朝使者回到阔别十九年的汉朝，被汉昭帝封为负责管理少数民族事务的典属国，俸禄二千石，赐钱二百万，官田二顷，住宅一处。苏武在北海牧羊那么多年，回到汉朝之后得到了这么大的回报，也算是让人感到欣慰了。
不过，苏武的后代并不省心，他在汉朝的儿子苏元后来因为参加上官谋反而被杀，苏武本人也因此受到牵连，被霍光免官。前74年，汉宣帝继位之后，鉴于苏武德高望重有熟悉民族事务，于是封他为食邑三百户的关内侯，还让他继续担任典属国。汉宣帝见苏武的膝下没有儿子孝敬他，便问他在匈奴的时候是否有儿子。苏武原本不敢将自己在匈奴娶妻生子的事情说出来，但汉宣帝问他的时候，汉朝与匈奴的关系已经大为缓解了，所以他就通过汉宣帝的外公许广汉告诉汉宣帝，他在匈奴还有个儿子叫做苏通国。
汉宣帝十分高兴，于是派遣使者去匈奴，用丝绸和黄金将苏通过给赎了回来，还封苏通国为郎官。苏武晚年十分风光，因为他在朝中的威望很高，汉宣帝又十分尊重他，所以他每月初一和十五上朝的时候，都是汉朝的一件盛事，他也被大臣们尊称为“祭酒”。前60年，也就是汉宣帝神爵二年，苏武去世，享年八十岁。苏武死后，汉宣帝将其列入麒麟阁十一功臣，以褒奖他忠贞爱国的节操。
历史上苏武牧羊的北海究竟是现在的什么地方？
苏武牧羊的故事已经流传了二千多年，并被编成歌曲传唱至今。
