Der Name Zoller leitet sich dabei wahrscheinlich von dem lateinischen „mons solarius“ ab, also „Berg der Sonne“. Möglicherweise nutzten schon die bis ins 3. Jahrhundert hier ansässigen Römer den Berg als Kultstätte. Aus „solarius“ wurde „zolorin“, daraus „zolre“ und letztendlich „Zollern“. Ab dem 14. Jahrhundert versahen die Grafen ihren Namen mit dem Präfix „Hohen“ zu..
