李若水早年在太學讀書，進士及第后，歷任元城（今大名）尉，平陽府（今山西省臨汾縣）司錄，濟南教授等職。當時徽宗昏庸無能，朝政由蔡京、童貫、高俅等奸臣把持，對北方日漸強大的金國采取妥協投降戰略，“主和”派占據上風，李若水對此極為憤慨，多次上書皇帝，深中時病，條陳興國治邦良策。靖康元年（公元1126年），欽宗繼位，加封李若水為禮部尚書，李若水十分謙遜，不受，改封吏部侍郞。

　　靖康二年（公元1127年），金兵大舉南侵，徽、欽二帝被俘，備受羞辱，李若水仗義執言，怒斥金國統帥粘罕不講信義，粘罕見李若水忠勇可嘉，想收買留用，便許以高官厚祿，對李若水說：“今日順從，明日富貴矣！”李若水嚴辭拒絕，粘罕又命仆從勸慰李若水，說：“公父母春秋高，若少屈，冀得一歸覲！”李若水叱之說：“忠臣事君，不復顧家矣！”李若水大義凜然，罵聲不絕，粘罕無奈，命人割下李若水舌頭，李若水不能用口罵，便怒目而視，以手相指，又被挖目斷手，最后寸磔而死（即凌遲處死），死年三十五歲。

　　南宋高宗即位后，下詔：“若水忠義之節，無比倫，達于聯聞，為之涕泣”。贈觀文殿學士，謚曰“忠愍”故李若水有“南朝一人”的美稱。