יוסי בילין עבד כעיתונאי וחבר מערכת "דבר" בשנים 1969-1977. במקביל עבד כמרצה בחוג למדע המדינה באוניבריסטת תל-אביב, והשלים ב-1981 דוקטורט במדע המדינה.
ב-1977 מונה לדובר מפלגת העבודה, תפקיד שמילא עד 1984. באותה שנה מונה למזכיר ממשלת שמעון פרס. ב-1986 מונה למנכ"ל המדיני של משרד החוץ. ב-1988 נבחר לכנסת מטעם מפלגת העבודה.
בשנים 1988-1990 כיהן כסגן שר האוצר.
בשנים 1992-1995 כיהן כסגן שר החוץ ומילא תפקיד מפתח בגיבוש הסכם אוסלו, הסכם מסגרת להסדר מדיני בין ישראל לפלסטינים.
ב-1999 מונה לשר המשפטים. באותה שנה התפטר מהכנסת במטרה לאפשר לבא אחריו ברשימת המפלגה להיבחר לכנסת.