侯君集在边疆打了很多胜仗，皇帝看他权力太大有点害怕。他刚平定西域就想要自己当皇帝，还拉拢亲信和降将一起造反。李治死后他升官快，但皇帝儿子李治的孙子李显掌权后，觉得他威胁大就派兵打他。他手下的将领也怕被清算，所以兵败被杀。

他打西域时立了汗马功劳，皇帝本想重用他。但侯君集在649年平定龟兹后，安西都护府管辖范围扩大到七州五十万平方公里，相当于唐朝总面积的六分之一。李治晚年（649-655年）对边疆将领特别防备，史书记载共有17位边将因猜忌被杀。侯君集在653年接替刘审礼任安西都护时，朝廷特意派李治儿子李显监军。李显后来即位为唐中宗（705-710年），立即派王孝杰率军讨伐，657年攻破西州城。侯君集被俘后，其家族300多人被处死，牵连到朝廷重臣，比如他的亲家长孙无忌也受牵连被流放。