台北士林芝山岩的懷仁新村，住著當年隨國民政府撤退來台的情報人員與眷屬。蔣中正責成戴笠領導國民政府軍統局，1946年戴笠墜機身亡，軍統局改為國防部保密局，由毛人鳳擔任局長。

1949年撤退來台，隔年在芝山岩設立局本部。政府把局員及眷屬安置在芝山附近，由情報局前副局長潘其武商借台大土地，再讓眷戶自費興建懷仁新村。1985年改稱「國防部軍事情報局」至今。

懷仁新村居民王少剛提及村史，眷屬住在同一區，出完任務的情報員往往在外逗留幾日不敢直接回家，害怕被仇家或敵人跟蹤，「情報員一出任務可能是滅人全家，很害怕被報復」。

王少剛回憶父親總是沉默寡言，在家絕口不提工作內容，時常對他講的一句話便是「少剛，你多嘴！」如同台語俗諺「小孩子有耳無嘴」，很多事只能聽不能說。

他指出，情報員工作直屬上級長官管轄，只有兩人知曉內容，即使是同局人員也互不清楚彼此任務，如同電影「風聲」。「數十年來，我們對芝山充滿情感、不願離開，大家希望能與鄰近慈祥新村一同整併、翻新。」

「如果用東廠比喻懷仁新村，我們這邊就是錦衣衛，一在暗一在明。」慈祥新村居民張力仁說，慈祥新村原名忠義五村，蔣宋美齡認為暴戾之氣甚重，於是改名「慈祥」。

村內原眷戶有三分之二是「反共救國軍成員」，任職時需單身，等到完成任務功成身退，才由國家頒發「特種結婚」令。

居民巫欽泉是兩棲行動大隊小組長，四艘軍艇出任務後只剩他歸來，退役獲得結婚許可。
他笑著拿出為國付出有功的光榮勳章獎狀，雖作戰導致聽力受損，他仍與妻住在村裡，只盼早日改建。

反共救國軍成員在淡水經蛙人、傘訓、山訓後負責籌劃且出任務，到對岸「割耳朵」是其中之一。

成員中最有名的是「突擊山東半島六壯士」田立、周田、王洪洋、王壽良、孫明德及李文星，他們在1964年6月2日完成任務後，返台途中機器故障遇大風浪，在黃海中漂流4日後幸運被南韓漁船救起。

慈祥新村居民田雨龍提到父親田立，「他在家很安靜，休閒娛樂是看書，不太出外踏青」，他不清楚父親工作內容，直到長大後看到報導才知原來父親曾跑去對岸出任務。

鄰居王阿姨就沒如此幸運，她前夫「黃忠」是軍情局駐龍坡邦（寮國首都）工作人員，本名尹寶仲；黃忠在1967年擔任空降游擊小組長，與組員在寮國「南吧」基地訓練，進而在滇越寮三國邊境「石膏河」建立武力基地。

後來，基地遭中越寮三國察覺，組成聯合部隊圍剿，我軍寡不敵眾戰敗，黃忠壯烈成仁。王阿姨哀傷地說，「以前我們都通信聯絡，但他再也不會回信，連屍骨都見不到。」

懷仁新村、慈祥新村兩眷村居民11年前同意原地改建，本來國防部同意卻又稱釘子戶的訴訟冗長、無法如期發包興建，發函通知他們搬到木柵，並刪除懷仁新村改建基地。

兩村自治會認為，國防部未說明要他們搬到木柵的理由，且士林與木柵一北一南，與眷改條例按眷村分布位置整體分區規劃規定不符，提起行政訴訟。

台北高等行政法院認為，雖國防部發函稱眷改推委會第22次會議已同意將「懷仁新村、慈祥新村」遷建「木柵營區重建基地」住宅，但當時會議紀錄卻寫「懷仁新村改建基地暫不予刪除，同意提供『木柵營區重建基地』納入眷戶選擇。」顯見國防部函令有誤，判決撤銷國防部函令、居民勝訴，但仍可上訴。