60年代初，总军械部建制撤销，王树声的住房成了其他单位的属地，有关部门为了方便他的工作和生活，决定另选地点为他建造新居。他们先是为他选择了一处某自治区的驻京办事处，这里环境相当幽静，王树声看后感到也满意。但当他了解情况后摇起了头，连说：“不妥，不妥，这有违我们党的民族宗教政策！”几年以后，他们又在东城为他找到了一个旧院落，独门大院，相当理想，但当王树声得知这里原是一个民主党派的机关，只因工作人员都被红卫兵赶跑了而空着时，又摇起了头：“这是违反党的统一战线政策的！”最后，他们又在五渊潭附近为他选择了一处环境幽雅、风景如画的宅基地，王树声先很满意，可当他注意到为自己建房要迁走几户老百姓的民房，还是摇起了头：“我看这件事还是算了吧！不要因为我建房而把老百姓赶走了。”就这样，王树声大将在他进京时修建的那座平房里，一住就是18年，直到他长辞人世。