דוד קליין נולד ב-1935.
ב-1959 השלים תואר ראשון בהסיטוריה וכלכלה באוניברסיטה העברית בירושלים. לאחר לימודיו החל לעבוד באגף התקציבים במשרד האוצר. ב-1962 הצטרף לצוות הבין-תחומי לשיקום אזור הרעש בקאזווין, אירן. בשנים 1966-1972 עבד במחלקה למדיניות פיסקלית של קרן המטבע הבינלאומית בארה"ב. ב-1971 קיבל תואר דוקטור בכלכלה מאוניברסיטת ג'ורג' וושינגטון, ארה"ב.
לאחר סיום לימודיו שב לישראל והשתלב במכון "תבל" למחקרי מדיניות. בשנים 1976-1978 כיהן בתפקידים שונים בבנק לאומי, בהם הכלכלן הראשי, וחבר הנהלת הבנק.
בשנת 1987 הצטרף לבנק ישראל. כיהן כממונה על המחלקה המוניטרית ומחלקת הפיתוח על המט"ח, וכחבר הנהלת הבנק.
ב-2000 מונה לנגיד בנק ישראל, כמחליפו של יעקב פרנקל.