חבר כנסת מטעם הליכוד משנת 1973 עד שנת 1998. כיהן בממשלות הליכוד כשר ללא תיק, שר לענייני מיעוטים ושר הבריאות.
בשנת 1993 נבחר לראש עיריית ירושלים לאחר שניצח בבחירות את טדי קולק. בשנת 1998 התפטר מתפקידו כחבר כנסת לאחר כניסתו לתוקף של החוק האוסר על כפל תפקידים. אולמרט כיהן כראש עיריית ירושלים עד שנת 2003 והתפטר מתפקידו לאחר שהתכוון להתמודד לרשימת הליכוד לכנסת ה-16.
לאחר שאריאל שרון נבחר בשנית לתפקיד ראש הממשלה, מונה אולמרט לממלא מקום ראש הממשלה ולשר התעשייה, המסחר והתעסוקה. בספטמבר 2003 מונה אולמרט גם לשר התקשורת עד שהוחלף על-ידי דליה איציק בעקבות כניסת מפלגת העבודה לממשלה בינואר 2005.
ב-7 באוגוסט 2005 התפטר בנימין נתניהו מתפקיד שר האוצר על רקע התנגדותו לתוכנית ההתנתקות. אולמרט מונה לממלא מקום שר האוצר. לאחר שלושה חודשים אישרה הכנסת את מינוי הקבע שלו לתפקיד.
עם הקמתה של מפלגת קדימה על-ידי אריאל שרון בסוף נובמבר 2005, פרש אולמרט מהליכוד והצטרף למפלגה החדשה. לאחר האירוע המוחי השני שעבר שרון ב-4 בינואר 2006 קיבל אולמרט את סמכויות ראש הממשלה והחל למלא את מקומו.