בשנת 1995 פרש בורג מהכנסת, לאחר שנבחר לתפקיד יו"ר ההסתדרות הציונית העולמית והסוכנות היהודית לארץ ישראל, תפקיד שהגדיר כחלום חייו. בתפקיד זה כיהן שלוש שנים וחצי, ופרש לאחר הסכם רוטציה עם סלי מרידור, שהחליפו בתפקיד.
הישגו העיקרי בתפקיד היה מאבק סוכנות בבנקים השוויצרים, שסרבו לחשוף את חשבונתם של קורבנות השואה ולהשיב את רכושם.
עד פרישתו מהכנסת כיהן בורג כיו"ר ועדת החינוך והתרבות וחבר בוועדה לקידום מעמד האשה.