1955年10月31日，
国防部决定以
南京军区治安部队和淞沪警备区机关一部分为基础，扩编组建上海警备区，隶属
南京军区建制。
1955年11月4日，南京军区遵照国防部指示决定，以原南京军区公安部队领导机关大部人员为基础，组成上海警备区，隶属南京军区
建制，并自即日起正式命名为“
中国人民解放军上海警备区”。
1958年2月25日，南京军区电令，
苏州、松江军分区合并为苏州军分区，松江军分区
番号撤销。松江军分区原辖上海、
嘉定、
宝山县兵役局划归上海市兵役局。同年11月，苏州军分区所辖
金山、
南汇、
川沙、
奉贤、
青浦、
松江、
崇明等7县兵役局，划归上海警备区建制领导。
1958年10月27日，遵照南京军区电示，上海市兵役局机关改编为上海警备区司令部人民武装处，其所属县兵役局和区兵役办事处均改为县、区人民武装部，其一切工作由上海警备区负责。
根据
中央军事委员会、
公安部、
总参谋部对公安部队整编、移交的指示，1959年1月，
公安军上海市总队移交给
上海市公安局改编为警察总队。1966年6月又归上海警备区建制，番号改称“上海警备区警备师”。