דוד אזולאי עלה לישראל ב-1963. הוא בוגר ישיבה תיכונית וסמינר למורים. בשנים 1973-1976 שירת בצה"ל. עבד בתפקידי חינוך, כמורה ומנהל בית ספר בעכו. אזולאי החל את הקריירה הפוליטית בשלטון המקומי: הוא כיהן כחבר מועצת העיר עכו, ב-1993 נבחר לסגן ראש המועצה האזורית נחל עירון, וב-1994 לראש המועצה.
במאי 1996 נבחר לכסנת מטעם ש"ס. במהלך כהונתו בכנסת ה-15 כיהן כיו"ר ועדת הפנים ואיכות הסביבה. במאי 2001 מונה לסגן שר הפנים.