בשנת 1993 הפסיד בהתמודדות מול חיים הברפלד על מועמדות המפלגה לתפקיד מזכיר הסתדרות העובדים הכללית. בשנת 1994 חבר לחיים רמון, וביחד הקימו את סיעת רם בהסתדרות. הם ניצחו בבחירות למוסדות ההסתדרות, רמון נבחר למזכיר ההסתדרות ופרץ ליושב ראש האגף לאיגוד מקצועי. בנובמבר 1995 פרש רמון מההסתדרות, ומאז כיהן פרץ כיו"ר ההסתדרות החדשה. בתפקיד זה נאלץ פרץ להתמודד עם משבר כספי חריף שפקד את ההסתדרות. עקב כך נאלץ פרץ לפטר רבים מעובדי מנגנון ההסתדרות ולמכור נכסים של ההסתדרות לשם תשלום משכורות לעובדים ופיצויים למפוטרים. פעמים אחדות לא הצליחה ההסתדרות לשלם שכר במועד, וסימן שאלה ריחף על יכולתה להמשיך ולהתקיים.
בשנת 1997 זכה בבחירות הישירות לראשות ההסתדרות. בתפקידו כיו"ר ההסתדרות שימש פרץ כמייצג העיקרי של העמדה הסוציאל-דמוקרטית. המדיניות הנאו ליברלית של ממשלות ישראל בתקופה זו הביאה אותו לעימותים תכופים איתן, ובמיוחד עם בנימין נתניהו, בתפקידו כשר אוצר. אחד הצעדים הבולטים של ממשלת ישראל היה השתלטותה, בשנת 2003, על כל קרנות הפנסיה ההסתדרותיות, שריחפה עליהן סכנה של פשיטת רגל, תוך ביטול אחיזתה של ההסתדרות בהן. צעד זה היה אחרון בסדרה של צעדים שהחלו קודם לכהונתו של פרץ, להתפרקות ההסתדרות מנכסיה.
בדצמבר 2003 החליטה הממשלה, בצעד חריג בחריפותו, ליזום חקיקה להגבלת חירות השביתה, באמצעות דרישה כי החלטה על שביתה תתקבל רק בהצבעה חשאית בקרב העובדים (ולא בהחלטה של ארגון העובדים לבדו). יוזמה זו לא הבשילה לכלל חוק, אך היה בה איום עוצמה על ההסתדרות.
ב-2 בינואר 2006, חודשיים לאחר שזכה בראשות מפלגת העבודה, פרש מתפקיד יושב ראש ההסתדרות, והעביר את התפקיד לעופר עיני.