Der Neubau der Berlinischen Galerie befindet sich nur wenige Meter vom Jüdischen Museum entfernt in einem Wohngebiet, das in den 80er-Jahren im Rahmen der internationalen Bauausstellung (IBA) entstanden ist. Grundlage für den Museumsbau war ein ehemals als Glaslager genutzter Gebäudekomplex von 1965, bestehend aus einer 11 Meter hohen kubischen Halle, die sich über eine Grundfläche von 60 x 60 Meter erstreckte. Angeschlossen war ein 8 Meter hoher Vorbau sowie ein zur Straße hin ausgerichtetes viergeschossiges Bürogebäude. 

Den Umbau übernahm die DIBAG Industriebau AG, die kurz zuvor für das Land Berlin bereits das neue Landesarchiv am Eichborndamm errichtet hatte. Nach Entwürfen des Architekten Jörg Fricke und in enger Abstimmung mit der Berlinischen Galerie konnte das Museum am 22. Oktober 2004 in nur einem Jahr Bauzeit eröffnet werden. Da das knappe Gesamtbudget von nur 18,7 Mio. EUR umfangreiche architektonische Neugestaltungen von vornherein ausschloss, konzentrierten sich die Planungen darauf, maximale Raumausnutzung mit optimaler Funktionalität zu verbinden und die schlichte Klarheit des industriellen Zweckbaus weitgehend zu erhalten. Hauptaugenmerk wurde dabei auf das Raumkonzept gelegt, das von Beginn an im Dienst der komplexen Anforderungen der Sammlungen stand. Ziel war, eine Raumsituation zu schaffen, die bei klarer Gliederung eine sich durchdringende Präsentation von klassischen Formaten mit raumgreifenden Installationen ermöglichen sollte. Gelöst ist dies durch eine zum Teil geöffnete Zwischendecke, die den Ausstellungsbereich strukturiert und in zwei Ebenen gliedert. Die Deckenhöhen der so entstandenen Säle wechseln zwischen 3,50 Meter (obere Ebene), 6 Meter (Erdgeschoss unterhalb der Zwischendecke) und 10 Meter (gesamte Hallenhöhe). Neben behindertengerechten Aufzügen wird die obere Ebene durch eine diagonal den Raum kreuzende Freitreppe im Zentrum des Gebäudes erschlossen. Die obere Ebene ist von fest eingebauten Wänden weitgehend frei gehalten, um mit flexiblen Stellwandsystemen eine vielfältige, der jeweiligen Präsentation von Sammlungsbeständen und Wechselausstellungen entsprechende Raumgestaltung zu erreichen.

Weitere Räume und Funktionen im neuen Haus

Veranstaltungssaal:
Der 280 Quadratmeter große, über 234 Sitzplätze verfügende Veranstaltungssaal ist sowohl vom Ausstellungsbereich als auch separat vom Eingangsbereich aus zugänglich. Er dient für Eröffnungsveranstaltungen, Vorträge, Diskussionen, Filmvorführungen etc. kann aber auch extern vermietet werden. Bei Bedarf kann er ebenso als zusätzlicher 6 Meter hoher Ausstellungssaal genutzt.

Eberhard-Roters-Saal:
Durch die großzügige Unterstützung des Förderverein ist es gelungen, oberhalb des Veranstaltungssaals einen 280 Quadratmeter großen Vorlegesaal zu schaffen. Hier kann sich der Besucher Grafiken, Fotografien, Architekturpläne und Archivalien aus den Sammlungen der Berlinischen Galerie zeigen lassen, die aufgrund ihrer Empfindlichkeit nur kurzzeitig ausgestellt werden können. Zugleich werden hier wechselnde Kabinettausstellungen zu sehen sein.

Studiensaal:
Auf der oberen Etage des Vorbaus befindet sich ein weitläufiger Studiensaal als Depot für Papier-Arbeiten aus der Grafischen Sammlung, der Architektursammlung und den Künstler-Archiven. Als offenes Depot ist der Bereich nach Absprache auch zugänglich für längere Recherchearbeiten und die Nutzung der Künstler-Archive.

Bürogebäude / Café Dix / Atelier Bunter Jakob:
Das vorgelagerte Bürogebäude mit direkter Anbindung an die Eingangshalle ist von der zweiten Etage direkt mit den Sammlungsräumen verbunden. Im ersten Stock hat der Verein Jugend im Museum das "Atelier Bunter Jakob" eröffnet und bietet dort wechselnde Kunstkurse an. Im Erdgeschoss befindet sich das Café Dix, das während der Öffnungszeiten direkt mit dem Museum verbunden ist, aber auch unabhängig vom Museumsbetrieb geöffnet sein kann.