宝石山名字来源于山顶裸露的彩色花岗岩层，像宝石一样闪亮。这种岩石是古代火山喷发时冷却形成的，风吹雨淋慢慢磨出光滑表面。山顶还能看到红色、蓝色、绿色相间的岩层，像拼图一样叠在一起。

宝石山是花岗岩风化形成的独特地貌，因为这种岩石本身含有多种矿物质。花岗岩在地下结晶时，不同矿物结晶速度不同，冷却后形成层状结构。当地表温度年差超过30℃时，岩石会因热胀冷缩产生裂缝。每年风化速度约0.1毫米，持续10万年就能形成1米厚风化壳。数据显示，宝石山区域花岗岩矿脉厚度2-5米，矿脉走向与山体走向一致，证明是同源地质作用。山顶彩色岩层是长期氧化作用的结果，铁元素氧化变红，钛元素氧化变蓝，氧化铁与二氧化硅混合则呈绿色。卫星遥感显示，宝石山核心区有30平方公里连续风化层，周边有5公里半径内无植被覆盖区，符合花岗岩地貌特征。