בבחירות 1996 הונהגה לראשונה שיטת הבחירה הישירה לראשות הממשלה. בבחירות ניצח מועמד הליכוד בנימין נתניהו את שמעון פרס בהפרש זעיר של 30 אלף קולות - 50.3 אחוזים לעומת 49.7 אחוזים. מפלגת העבודה נשארה הסיעה הגדולה בכנסת עם 34 מנדטים, אך בנימין נתניהו הרכיב את הממשלה. לאחר ארבע שנים בשלטון, חזרה העבודה לספסלי האופוזיציה.
ב-1997 נבחר אהוד ברק ליו"ר המפלגה. לאחר בחירתו, יזם בקשת סליחה פומבית של מפלגת העבודה לדורותיה מעדות המזרח על היחס לו זכו מהמפלגה, בין השאר, בקליטת העלייה וביישוב עיירות הפיתוח.