בבחירות 2003 מפלגת שינוי שילשה כמעט את כוחה בכנסת כשקיבלה 15 מנדטים. ראש הממשלה אריאל שרון העדיף את שינוי בקואלציה על פני ש"ס ולפיד מונה לשר המשפטים ולסגן ראש הממשלה.
בדצמבר 2004 הצביעה שינוי נגד תקציב המדינה לשנת 2005 בעקבות העברת 290 מיליון שקלים למפלגות החרדיות. בעקבות ההצבעה פיטר ראש הממשלה את שרי שינוי מהממשלה. לפיד מונה ליו"ר האופוזיציה.
למרות התנגדותו לתקציב המדינה, לפיד תמך בתכנית ההתנתקות בהצבעה בכנסת.