La historia de la casa de Alfabia y sus jardines, está documentada en época de la dominación árabe, entre los siglos XIV XV. Durante este período perteneció a los Bennassar.

El carácter monumental de la casa de Alfabia y sus jardines, se debe al gusto y al patrocinio artístico de dos familias de la nobleza mallorquina que se unieron en el siglo XVIII. La figura más relevante la encarnaba Gabriel de Berga y Zaforteza, que heredó la posesión por el derecho que tenía sobre el patrimonio de la familia Santacilía que desde el siglo XVI era la propietaria de la alquería. Gabriel de Berga y Zaforteza fue un personaje clave en el mecenazgo artístico del barroco en Mallorca.

Antonio Flores, cronista de SM. La Reina , dijo de Alfabia en su libro Crónica del viaje de Sus Majestades y Altezas Reales a las Islas Baleares Cataluña y Aragón en 1.860 :

" La entrada a la quinta de Alfabia es suntuosa, pero la salida por la parte opuesta es una maravilla. Entrar en la casa que es de regulares dimensiones, atravesar sus principales salas, que están corridas y asomarse a la galería que se extiende alrededor del jardín, es quedar absorto y suspenso entre el panorama más variado y más bello que pueda soñar la imaginación humana. A pesar de que la pintoresca sierra de Alfabia se anuncia antes de llegar a la quinta, todavía sorprende que a espaldas de aquél edificio se oculte una naturaleza tan bella y caprichosa. Parece que la naturaleza y el arte son obras de una mano. No se sabe dónde acaba el jardín y dónde empieza la montaña, ésta y aquél parecen una misma".