בגיל 20 עלה לוי לישראל, התיישב בבית-שאן והתפרנס מעבודות חקלאות ובניין. בשנים 1964-1977 מילא תפקידים שונים בעירית בית-שאן, עד למשרת ראש העיריה.
ב-1969 נבחר לכנסת מטעם הליכוד. ב-1977 מונה לשר לקליטת עליה. בשנים 1979-1990 כיהן כשר הבינוי והשיכון. בשנים 1990-1992 כיהן כשר החוץ.
ב-1996, עקב חילוקי דיעות עם יו"ר הליכוד בנימין נתניהו פרש מהתנועה והקים את מפלגת "גשר". בבחירות 1996 רצה גשר ברשימה משותפת עם הליכוד, ולוי מונה לשר החוץ, אולם ב-1998 גברו העימותים בין לוי לנתניהו, ולוי פרש מהממשלה.
ב-1999 השתלבה גשר ברשימת מפלגת העבודה לכנסת, "ישראל אחת", ולוי שב למשרד החוץ. אולם באוגוסט 2000 פרש לוי גם מממשלת ברק, עקב חילוקי דיעות מדיניים.
עם כינון ממשלתו במרץ 2001 בחר אריאל שרון בצעד מפתיע לא למנות את לוי לשר אך בשלב כלשהו הצטרף לוי לממשלה כשר בלי תיק. כיום, לוי עדיין מכהן כחבר כנסת ורץ לרשימת הליכוד לאחר שפרש מ'גשר'.
נשוי ואב לשנים-עשר.