岭南第一楼位于五仙观后，是一座城楼式的古建筑物。它与五层楼堪称为明代建筑的“双璧”，只不过是建于明洪武七年（1374年），比五层楼晚建7年。其楼高7米，楼基用红砂石砌筑，中通往来，作城门状，上面栋宇巨檐，整个建筑庄严雄伟、朴素大方。

　　岭南第一楼上还悬挂有一口大钟，钟高3米多，口径2米多，厚3寸，重5吨，是广东最大的铁钟。这口大钟撞击起来，“扣之声闻十里”，是作为遇火警等非常事故时召人救火用的，无事禁止撞击；又有此钟敲响，城中便瘟疫大作之说––故名“禁钟”，该楼也因此称之为“禁钟楼”。禁钟之重，固然令人惊异，然此钟却只用一根葛藤悬挂，倒更有点不可思意。