常何，汴州浚儀縣人，為人驍勇仗義，且廣施恩德，為反抗暴政，拉起一支五百人的鄉勇，可見其在當地威望極高。
當時有三大義軍勢力，分別是河北竇建德，山東瓦崗軍，江淮杜伏威。
常何審時度勢，率部加入瓦崗，并首戰得利，于滎陽大海寺一役，隨李密伏殺隋朝大將張須