Kanuni Sultan Süleyman’ın Sadrazamı Semiz Ali Paşa tarafından 16. yüzyılda inşa ettirilmiştir.

Başlangıçta Ali Paşa Karvansarayı/Hanı olarak bilinen yapı, Müslüman tüccarların arabaları veya develerinin barınıp dinlenmesi için kullanılmıştır. Daha sonra tahılların depolandığı ve satıldığı geleneksel bir han yapısına dönüşmüş ve “Galle Pazarı Hanı”, “Yeni Galle Pazarı Hanı”, “Yeni Tahıl Hanı” isimlerini almıştır.

Galle Hanı, Mimar Sinan tarafından inşa edilmiş tarihi eserleri kapsayan bir belge olan ‘Tezkiretü’l-Ebniye’de ‘Ali Paşa Kervansarayı’, olarak tanımlanmaktadır. Yapının, Bursa’da Mimar Sinan veya onun kontrolünde gönderilmiş bir yardımcısı tarafından inşa edilmiş tek eser olduğu belgelenmiştir.

Revaklarla çevrili ve iki girişli açık avlusu ile tipik bir iki katlı klasik dönem Osmanlı Hanı olarak kabul edilmektedir.