天啟七年（1627年），白胤謙中舉人，崇禎十六年（1643年）中進士，選翰林院庶吉士。入清后授內秘書院檢討，歷侍讀學士。清朝順治二年（1645年），改內翰林秘書院檢討，次年任順天鄉試副考官、會試同考官。順治五年，任內翰林弘文院侍讀。次年，任內翰林弘文院侍讀學士。順治十二年，任內翰林秘書院侍讀學士、內翰林國史院學士、武會主考官、武殿試讀卷官。順治十三年（1656年）六月，擢升吏部侍郎，順治十四年（1657年）四月，升刑部尚書。順治皇帝親政之后，為加強皇權，注重刑法，頒布《大清律》；但懲奸除惡，慣用重典，常常不以法律而加重治罪。白胤謙獨認為：“開國規模，宜崇宏大，務以寬平佐圣治。”所以他凡事都小心謹慎，無論在公堂或是在私宅，律令之書未嘗離手，大小案件都依法處置，不敢有絲毫失當。就在白胤謙升任刑部尚書不久，南北科場案發。北闈順天鄉試同考官李振鄴、張我樸因受賄將考生王樹德、陸慶曾等錄取，被判處死刑立斬，沒收家產，父母兄弟流放尚陽堡。南闈江南鄉試雖然輿論大嘩，但未確指行賄受賄人具體姓名。白胤謙認為案情尚未查實，人命關天，恐怕冤枉了無辜，有待進一步認真推究，方可決斷。這時江南舉子編撰了《萬金記傳奇》雜劇，揭露正副主考方猷、錢開宗受賄丑聞。傳入禁中，順治帝大怒，未經過法律程序，便下旨將方、錢二人處斬，家產妻子入官；其它考官及監場官十八人，除一人病死獄中外，均處死刑。白胤謙也因未能及時結案，受到降一級處分。順治十六年（1659年）九月，蘇松巡按王秉衡因貪贓罪被判處死刑，順治帝下旨將其妻子兒女入官為奴。白胤謙認為根據《大清律》，此罪不應涉及妻子兒女，于是同三法司官員共議，免除了其妻子兒女之罪。順治皇帝召白胤謙等官員廷對，厲聲詰問再三，白胤謙皆援引律例正色以對，只自引罪，但仍堅持要依法裁處。此時，天威嚴重，廷臣被皇帝詰問者皆惶恐失措，不知所云，而白胤謙則從容不迫，據理侃侃而言，終于使順治帝不得不服從于法律。但順治帝年輕氣盛，心中不悅，下旨將白胤謙降三級調用，補太常少卿。白胤謙認真考訂祀典，議定雅樂，不以進退為意。不久升通政使，他又為冤民叩閽之事向皇帝力爭，沒有因為前事之故而少為退卻。康熙皇帝登基之后，國家有許多大事要定奪，他多次奮顏諫議，必有利于國家人民而后已。康熙二年（1663年）五十九歲，染微疾，便遽求致仕。康熙十二年（1673年）卒，年六十九歲。