ההיסטוריה של מוזיאון רוקפלר קשורה קשר הדוק עם ייסודה של מחלקת העתיקות של ממשלת המנדט הבריטי בשנת 1920 ועם התפתחות הארכיאולוגיה של ארץ-ישראל. מחלקת העתיקות של ממשלת המנדט שכנה בבניין ישן ברחוב המוזיאון (היום רחוב פיקוד מרכז), ששימש גם את בית הספר הבריטי לארכיאולוגיה בירושלים וכלל אולם תצוגה קטן.
שלושה מוזיאונים לארכיאולוגיה היו בארץ-ישראל קודם למוזיאון רוקפלר: בשנת 1902 נבנה "המוזיאון הפרנציסקני המקראי", בשנת 1922 הוקם "המוזיאון היווני האורתודוכסי" ובשנת 1923 נוסד בהר-הבית "מוזיאון האסלאם". אולם, הבניין הראשון שנבנה כמוזיאון לאומי הוא מוזיאון רוקפלר, . הThe Palestine Archaeological Museum רעיון להקמתו של מוזיאון לעתיקות הוצע לראשונה על-ידי פטריק גדס בדוח שכתב על תכנון העיר ירושלים בשנת 1919. גדס חשב כי המקום הראוי להקמתו של המוזיאון יהיה בפינה הצפונית-מזרחית של העיר העתיקה, מקום התואם בקירוב את האתר שנבחר כמעט עשר שנים לאחר מכן.
רצונם של מנהיגי ממשלת המנדט לפעול להקמתו של המוזיאון התבטא בכך שבשנת 1924 הם הציעו לגבות "מס תיירים" מיוחד למימון המפעל. עצם הרעיון להקים מוזיאון לאומי לעתיקות הוא חידוש, שכן הוא מצביע על מגמה חדשה במדיניות הבריטית: לא עוד "ייצוא" של ממצאים ארכיאולוגיים מהארץ למוזיאונים באירופה, אלא היערכות (לפחות לגבי חלק מהממצאים) לתצוגה מקומית של ממצאים אשר הוכרו כחלק מהמורשת הלאומית של הארץ. נוהג חדש זה יושם גם במושבות ובמדינות אחרות תחת השלטון הבריטי, כולל כאלה במזרח התיכון. בכל אותן השנים הוצגו בפני הנציב העליון הרברט סמואל מספר פרוייקטים תחת הכותרת "מוזיאון לאומי", אולם כולן נדחו מפאת המחסור בתקציב.
.