האתר שנבחר לבניין המוזיאון נמצא בחלקת קרקע ששמה כרם אל-שיח', מול הקרן הצפונית-מזרחית של חומת העיר העתיקה ומעבר לחפיר החצוב לרגליה. האתר צופה אל גגות בתי העיר העתיקה, אל הר הבית ואל הגבעות שסביב העיר.
שטחו של המגרש כ-40 דונם. בתוככי השטח ניצב מבנה אבן דו-קומתי, קצר אל-שיח'. בניין גדול זה נבנה בשנת 1711 על ידי השיח' מוחמד אל-חלילי, שהתיישב בירושלים, כמנהגם של רבים מבני עירו חברון באותן השנים. בקומת המרתף של הבניין הותקן בית בד ששרידיו מצויים בו גם היום, ולידו נבנו בית מטבחיים ומשרפה. מסביב לבניין ניטעו כרמי זיתים ועצים אחרים: על אחד מהם, עץ אורן, מספרת האגדה כי הובא מחברון כשתיל על ידי השיח' בעצמו. עץ זה ניצב במשך שנים בשטח המוזיאון.
ממשלת המנדט רכשה את הקרקע ואת הבית ממשפחת אל-חלילי וייעדה אותו להקמת המוזיאון. בית המטבחיים והמשרפה שבתחומי הבית הוסרו, ובמקום החלו עבודות להכשרת השטח. במהלך חפירת היסודות נתקלו הפועלים בשרידיו של בית קברות עתיק, אשר נחשף בראשותו של ד. ברמקי, מפקח העתיקות מטעם מחלקת העתיקות של ממשלת המנדט. תוצאות החפירה פורסמו בגיליון הראשון של כתב-העת המדעי שפורסם על ידי מחלקת העתיקות המנדטורית QDAP (Quarterly of the Department of Antiquities of Palestine).