Ngay sau khi chỉnh trang xong không gian quanh Hồ Gươm, chính quyền thuộc địa quy hoạch phía Đông từ hồ ra sông Hồng thuộc các thôn Yên Trường, Hà Thanh, Bảo Linh, chia thành nhiều ô hình chữ nhật để xây dựng các cơ quan của thiết thế hành chính và quản lý thành phố.

Không gian giới hạn bởi các phố Garnier (Đinh Tiên Hoàng), Balny (Trần Nguyên Hãn), Courbet (Lý Thái Tổ) và Dominé (Lê Lai) trên đó có chùa Phổ Giác được sử dụng để xây Toà thị thính (còn gọi là Toà Đốc lý) cơ quan hành chính của thành phố Hà Nội, Kho bạc, Nhà Xéc (Cercle) nơi quy tụ giới thượng lưu sinh hoạt giải trí và cả Nhà Lục xì (nơi kiểm tra y tế gái làng chơi trong thành phố). Không gian hình chữ nhật liền kề là vườn hoa và tiếp theo là không gian xây dựng Bưu điện, Phủ Thống sứ v.v...

Toà Đốc lý hoàn thành năm 1887 có kiến trúc cổ điển phù hợp với chức năng hành chính một thành phố với các cơ quan thuế quan, giao thông công chính, địa chính, hộ tịch... với hai cổng hướng về Bờ Hồ và Vườn hoa Paul Bert (nay là Vườn hoa Lý Thái Tổ). Đây là một không gian kiến trúc tương đối hoàn chỉnh và đặc trưng của Hà Nội.

Toà Đốc lý nhìn từ phía tượng Paul Bert vào thời điểm đang xây dựng

Toà Đốc lý cửa phía hồ

Nhìn từ phía vườn hoa Paul Bert

Cổng Toà thị chính sau này