潜伏的拍摄地点主要在北京通州和河北尚义县、围场县。通州那边拍的是北京城里的场景，比如柳云龙演的余则成在国安局上班的地方，那些老胡同和四合院都是真的。河北那边主要是农村和山里头，像余则成去潜山执行任务那段，就是在尚义县拍的，那里的草原和土坯房特别像50年代农村。围场县还拍了雪地戏，冬天零下二十多度拍雪地潜伏，演员得穿军大衣裹严实。

为什么选这些地方呢？首先北京通州的胡同保留得比较完整，2007年拍的时候刚好能找到合适的场景。据剧组回忆录说，他们跑了好几个区才找到合适的国安局旧址，选的是通州北关那边，那个老办公楼现在还存在。河北选尚义县是因为离北京近，运输设备方便，而且当地支持影视拍摄，提供了很多免费场地。围场县更偏僻，冬天能保证雪景真实，剧组在那里拍了大概两个月，每天凌晨四点就出发拍雪地行军戏。演员王宝强说在尚义县拍雪地戏时，他裹着十斤重的棉袄，光脚踩雪里走了三公里，冻得脚趾头都掉了皮。这些真实场景让电视剧特别有代入感，观众看了都说“就是那个味儿”。