那人被他嚇了一跳，轉身怒目而視，厲聲斥道：“瘋子，簡直是瘋子，你想媳婦想瘋了吧？怎么連公母都分不出來啦？”

許仙被罵得一激靈，定睛一看，哪是什么娘子，分明是一個小伙子。許仙知道自己這是神經錯亂了，連忙給那人作揖賠禮說好話兒。那小伙本是許仙家老街坊，也聽說了白娘子的事，挺同情許仙的，也就不再追究。反倒好言安慰他道：“許大夫，別太死心眼子了，為了孩子好好活著吧。”然后抻抻衣服，繼續趕路。

許仙這個狀態，又帶著個孩子，漸漸的找他看病的人越來越少，到后來也就沒人敢找他看病了。作為一名看病的大夫沒了病人，就等于沒了飯碗。所以，到最后許仙竟淪落到抱著孩子四處乞討的境地。

開始一段日子，許多從前的鄰居和被他醫治好了的病人得知他的情況以后都很同情他，常常把他們父子倆領回家中好菜好飯招待，并好言規勸許仙不要自暴自棄，盡快忘掉那個蛇仙白娘子，娶個普通婆娘好好過日子，也讓那可憐的孩子有個娘來疼。可許仙聽了總是搖頭嘆息，甚至不等人家說完話就起身告辭，這樣一而再，再而三地不聽人勸，漸漸地就沒人答理他了。只可憐了那許仕林剛出滿月親娘就沒了，父親又整天若有所思精神恍惚，爺倆饑一頓飽一頓，餓得面黃肌瘦。此時，許家的親戚看著仕林可憐，就跟許仙商量收養這個孩子，但許仙就是不同意，他說：“我娘子走了，這孩子就是我的命，我就是拉著棍子抱著瓢討飯也要把他拉扯大。”

親戚見他如此不可理喻，遂搖搖頭走了，從此再不管他。

也許是窮人的孩子早當家吧，那許仕林雖然從小跟著父親流浪乞討，天當被地當床艱難度日，但生性聰明乖巧且體貼懂事。那許仙雖然窮困潦倒，顧了今天沒明天，但他仍然不忘教孩子讀書識字，學習為人處世的禮儀。所以，那許仕林三、四歲時就知道心疼人，討來吃的總是先讓父親吃。而且，他還會背誦《三字經》、《千字文》和不少唐詩。跟隨父親討飯時，他經常小嘴梆子似的給人背誦這些古文，引來大人同情，孩子圍觀，藉此賞他們父子一頓飽飯。

有一次，在鄉下的一個小鎮乞討時，許仙被一群地痞流氓打傷了，痛苦地蜷縮在地上呻吟哭泣。小仕林瞪著一雙烏黑明亮的大眼睛，一邊給父親擦眼淚一邊跪在地上作揖磕頭乞求過往行人幫忙。恰巧當地一姓鄭的老員外從此路過，見那父子倆實在可憐，就把他們帶回家中留宿，并為許仙醫治傷病。員外夫人見這爺倆生活窘迫居無定所很是同情，專門騰出一間干凈房子讓他們父子居住，還找來裁縫量體裁衣為許仕林做了幾身新衣裳。仕林本來就長得非常帥氣，被員外夫人這么一打扮，越發顯得英氣襲人，銀娃娃一樣人見人愛。