半个月便无大碍了。这半个月内，史弥远不顾军中一片反对之声，强行与金人签订了丧权辱国的《嘉定协议》，军中有志之士慑于史弥远的淫威，只是敢怒不敢言。

胡大为一旦听到史弥远与金人已经达成协议，木已成舟，首先是怒火万丈，气愤不已，哀叹国之将亡，亡于此等卑躬屈膝的小人之手，继而心灰意冷，眼见报国无门，朝中为奸小把持，自己有志难伸，壮志难酬。左思右想之下，便挂冠而去，竟未和军中之人打一声招呼，就如此悄无声息走了，就此下落不明，军中之人知他无缘无故消失，不知所踪，更无查探的线索，史弥远得知后，却暗暗欢喜，这个碍手碍脚的人主动走了最好，也便不闻不问，时日一久，军中忙于战事，便将此事淡化了。

胡大为挂印离开后，带了家眷，心中无所牵挂，萧洒恬淡，便一直信马由缰，向西而行，这一日，来到一处山谷之中，但见这谷中环境清幽，流水潺潺，树繁花茂，鸟鸣山幽，周围渺无人烟，实是一个隐居避世的绝佳场所，于是便和妻女在此定居下来。自此，在谷中与妻女共吟诗作乐，日子倒也逍遥自在。胡大为自经史弥远一事之后，便不再过问世事，遂将自己的名字更改为胡无为，自号“无为老人”。从“大为”到“无为”，足见其内心失望悲凉之意。他隐居的山谷，便也称做了“无为谷”。

无为老人的妻子也是个女中巾帼，早年间随丈夫在军中共抗金兵，并肩作战，是个不让须眉的奇女子，但在战斗中负过两次重伤，留下重症遗患，在谷中住了几年，旧患复发，加上水土不服之故，旧患新疾，来势如山，病情日趋严重，无为老人虽然精通医术，但妻子已经病入膏肓，虽然想尽千方百计的办法，仍未能救得妻子一命。妻子一亡，无为老人心中悲恸不已，心想如若我医术再精湛一些，妻子便不会早亡，留下自己和只有七、八岁大的幼女，孤苦无依。便痛下决心苦研医术。他本是个天份极高之人，无论学什么一点便通，一学便会，有过目不忘之能，加上原来的的良好基础，十余年后，医卜星相，琴棋书画，武功谋略，无一不通，无一不精，随便拿出一样，便为江湖翘楚。

无为老人一生之中收了四个徒弟，四个徒弟都颇有资质，学到了他的一技之长，两男两女，大徒弟名为张无为，二徒弟却是名女弟子，名为吴幽怜，三徒弟名为李无恨，四徒弟也是个女弟子，名为何梦蝶，加上他的小女儿胡弗。五个师兄姝自小在一起练功习武，识字读书，倒也其乐融融。无为老人因材施教，根据各个弟子的资质和长处，分别教他们各种