במקביל לכהונתו כיו"ר ההסתדרות, פרש פרץ מהעבודה ב-25 במרץ 1999 עם חברי הכנסת אדיסו מאסלה ורפיק חאג'-יחיא, וייסד את מפלגת עם אחד. בבחירות לכנסת ה-15 שנערכו באותה השנה זכתה המפלגה בשני מנדטים, ובבחירות לכנסת ה-16 בשלושה.
בשנת 2005 התמזגה מפלגת "עם אחד" עם מפלגת העבודה, כאשר הדוחף העיקרי לאיחוד מצד מפלגת העבודה היה שמעון פרס. בבחירות לראשות המפלגה, שהתקיימו ב-9 בנובמבר 2005, זכה פרץ במקום הראשון, כאשר ניצח את המועמד המוביל, שמעון פרס. פרץ זכה ב-42.35% מן הקולות, ואילו פרס ב-39.96%. בנימין בן-אליעזר זכה ב-16.82% מן הקולות.
בשנת 2006, לאחר הניצחון על שמעון פרס ועזיבתו של האחרון למפלגת קדימה, רץ פרץ בראשות מפלגת העבודה בבחירות לכנסת ה-17 כמתמודד לראש הממשלה בהדגשת המצע החברתי של המפלגה. בפרט הדגיש פרץ את העלת שכר המינימום (כבר ב-1999 הציע להעלותו לאלף דולר בחודש). בבחירות זכתה מפלגת העבודה, בראשותו של פרץ, ב-19 מנדטים, כשהיא משחזרת בכך את הישגיה בבחירות הקודמות.
לאחר משא ומתן קואליציוני, נכנסה מפלגת העבודה לממשלת אולמרט, הממשלה ה-31, והוא מונה לסגן ראש הממשלה ולשר הביטחון. בעקבות דרישותיו של פרץ במשא ומתן הקואליציוני לאחר הבחירות, נקבע שכר המינימום בישראל החל מ-1 ביוני 2006 ל-3,585.18 שקלים, שהם 19.28 שקלים לשעה, לאדם מבוגר. באפריל 2007 הועלה שכר המינימום ל-19.95 שקלים לשעה.