בפריימריז של "העבודה" בדצמבר 2008 הגיע הרצוג למקום הראשון מבין המתמודדים. בהתאם לכך, מוקם במקום השני ברשימת המפלגה לכנסת ה-18, לאחר היושב ראש, אהוד ברק.
ב-17 בינואר 2011, מיד לאחר ההודעה שנשא אהוד ברק בדבר פילוגה של מפלגת העבודה והקמת סיעת העצמאות, הודיע הרצוג על התפטרותו מהממשלה.