לאחר פרישתו של ברק מצה"ל הוא פנה לעסקים פרטיים, אך כבר ביולי 1995 מינה אותו ראש הממשלה יצחק רבין לשר הפנים בממשלתו. אחת הפעולות שהספיק לעשות כשר פנים היא ההחלטה על הענקת אזרחות ישראלית ליונתן פולארד. לאחר רצח רבין בנובמבר 1995 מונה לשר החוץ בממשלתו של שמעון פרס.
בשנת 1996 נבחר ברק לכנסת ה-14 מטעם מפלגת העבודה, ומונה מטעמה לחבר בוועדת החוץ והביטחון. ביוני 1997 נבחר בבחירות המקדימות לתפקיד יו"ר מפלגת העבודה כשהוא גובר על יוסי ביילין, שלמה בן עמי ואפרים סנה.
בספטמבר 1997 התנצל בשם מפלגת העבודה בפני עדות המזרח על הטעויות שנעשו בעבר לטענתו בתהליך קליטתם בארץ. במרץ 1998 אמר בראיון לעיתונאי גדעון לוי ש"אם הייתי פלסטיני בגיל המתאים, הייתי נכנס בשלב מסוים לאחד מארגוני הטרור" אך גם הוסיף שלדעתו "פעולות ארגוני הטרור הפלסטיני, הפוגעות בנשים וילדים הן חמורות, נבזיות ושפלות". ברק הותקף על אמירה זו על ידי יריביו הפוליטיים, במיוחד במהלך מסע הבחירות לראשות הממשלה.