בדצמבר 1988 נבחר ביילין לכנסת מטעם מפלגת העבודה. הוא מונה לסגן שר האוצר, תפקיד בו כיהן עד יולי 1990.
באוגוסט 1992 מונה לסגן שר החוץ בממשלת רבין, תפקיד בו כיהן עד יולי 1995. לאחר הכהונה במשרד החוץ מונה לשר הכלכלה והתכנון, תפקיד אותו מילא מספר חודשים, ולשר במשרד ראש הממשלה.
בשנים 1996-1999 כיהן בכנסת כחבר בוועדות חוקה חוק ומשפט; חוץ וביטחון וקידום מעמד האשה.
עם כינון ממשלת ברק ביולי 1999 מונה לשר המשפטים. בנובמבר אותה שנה התפטר מהכנסת כדי לאפשר כניסתו לכנסת של הבא אחריו ברשימת מפלגת העבודה.
לאחר התפטרות שרי ש"ס מהממשלה, מונה ביילין בחודש אוקטובר 2000 גם לשר הדתות. עם כינון ממשלת שרון במרץ 2001 סיים ביילין את תפקידיו בממשלה.