対岸の三石岳から十禅寺山にかけての尾根より望むと、大比叡を背後に、天梯ノ峰とともに脇侍のような存在に映る。かつて、五別所の一つである神蔵寺があったので、このように呼び習わされている。
　坂本の町外れから比叡山の山なみを眺めると、大比叡の前衛に花摘ノ峰・天梯ノ峰、その手前に八王子山・神宮寺山・大久保山が連なる。その神宮寺山と大久保山の奥に、小さな三角錐のピークが顔を覗かせている。これが神蔵山で、かなり広範囲な場所から確認できるよく目立つ山である。
　『近江輿地志略』には、「忘れ草かりつむ計りなりにけり跡もとどめぬかま蔵の山」（公任）という歌が紹介されている。この山の東南稜はヤブガダイラと称し、寺跡のようである。また、東谷上墓へ南西に伸びる尾根は神蔵寺ノ背と呼ばれている。