閱讀材料，完成下列要求。
潘、韋兩家多年以來(lái)比鄰而居，關(guān)系融洽。2009年，養(yǎng)了羊的韋某找到潘某，想要在潘某的房屋后面修建一個(gè)羊圈，潘某表示同意。而融洽的關(guān)系到2015年戛然而止，這兩家開(kāi)始三天兩頭鬧矛盾。原來(lái)，潘某認(rèn)為，其早在二十年前就取得了現(xiàn)房屋宅基地的使用權(quán)，面積包含了房屋前后的空地。前幾年，潘某在房屋后面修建了化糞池，加上羊圈占地，導(dǎo)致車輛不便直接開(kāi)到房屋后門(mén)，影響到了他們一家的出行，由此要求韋某拆除羊圈，但被韋某拒絕。2022年7月，潘某一紙?jiān)V狀將韋某告上法庭，要求書(shū)某拆除建立在其宅基地旁的24平方米的簡(jiǎn)易羊圈，并將土地恢復(fù)原狀，歸還自己使用。案件審理過(guò)程中，主辦法官前往現(xiàn)場(chǎng)進(jìn)行實(shí)地勘察。從現(xiàn)場(chǎng)勘察情況看，潘某在取得宅基地使用權(quán)后，已在該土地上建造了房屋，其房屋大門(mén)向南，位于北面的被告書(shū)某的羊圈并不影響潘某一家的通行及房屋的通風(fēng)和采光；從巷道通往潘某房屋后門(mén)的通道尚有5.2米的間隙，潘某通往自家房屋后門(mén)，并非必須利用羊圈所占的土地。
2022年11月，廣西壯族自治區(qū)南寧市武鳴區(qū)人民法院東盟法庭對(duì)這起相鄰權(quán)糾紛作出判決。
結(jié)合材料，運(yùn)用《法律與生活》知識(shí)，分析該案件應(yīng)如何判決，并說(shuō)明理由。