Su nombre procede de "Rebollo", "Monte de roble pequeño".

Es el suyo un urbanismo característico de serranía, de callejones estrechísimos, tortuosos y repinados. Pese a esa caótica estructura urbana, Rebollar equivale a un pequeño museo vivo de arquitectura popular. Aleros y balcones casi se tocan y algunas de sus viviendas, las dos Casas del Canchal se alzan sobre impresionantes moles de granito, dando la impresión de casas colgantes.

Las casas tienen prodigiosos huertos traseros donde crecen limoneros, naranjos, granados, parrales, lauros e higueras.