Na zijn diplomatieke succes bij de Romeinen moest Herodes zijn gezag over de bevolking van zijn rijk zien te krijgen. Hij trouwde met een tienernichtje van Antigonus om het vertrouwen van de Joden te winnen en renoveerde tussen 19 en 9 voor Christus de tempel. Dit was een van zijn vele bouwprojecten die hij tijdens zijn bewind liet opstarten in zijn koninkrijk. Om snel in te grijpen bij opstanden en eventuele rellen in Jeruzalem en op het tempelplein, bouwde bij de burcht Antonia, die naast de tempel lag.
Herodes was van Idumese afkomst, dat is een volk uit het zuiden van zijn gebied, dat van de Edomieten. Dat maakte het voor hem onmogelijk om zich (of een van zijn familieleden) uit te laten roepen tot hogepriester (zoals de Hasmoneeën eerder wel hadden gedaan). Het ambt van hogepriester had een grote invloed op de publieke opinie en was daardoor ook politiek van groot belang. Om te voorkomen dat de macht van de hogepriesters te groot zou worden, eigende Herodes zich het recht toe om hogepriesters te kunnen benoemen en af te zetten. Dat het niet altijd boterde tussen Herodes en de hogepriester bleek wel uit de korte van een aantal van hen.
Ondanks zijn pogingen de Joden voor zich te winnen werd hij bij hen niet populair. Zijn afkomst speelde hier niet in mee, maar zijn nauwe samenwerking met de Romeinen speelde daarin ook een belangrijke rol. Door zijn grote geschenken aan andere vazalkoningen en hooggeplaatste Romeinen en de keizer, was hij bij die hooggeplaatsten populair, maar dat leidde eveneens tot een hoge belastingdruk onder zijn Joodse onderdanen.
Ook door zijn gedrag wist Herodes de Joden af te stoten. Zo hing hij een schild met een Romeinse adelaar boven de ingang van de tempel. Het voor de Joden heilige gebouw werd nu ontheiligd met een symbool van de Romeinse overheersing. Ook was het afbeelden van mensen en dieren volgens de wet verboden en werd dit als Godslastering ervaren door de Joden. Toen de Joodse Hoge Raad plannen van Herodes tegenwerkten, liet Herodes 45 leden executeren. Daarmee ontstond een waar schrikbewind.
Uiteraard ontstond een tegenreactie en dat betekende dat Herodes zich nergens meer veilig voelde. Hij wantrouwde iedereen en was constant bang voor een mogelijke staatsgreep. Dat betekende dat hij allerlei mensen verdacht, vaak onterecht. Maar ook zijn eigen familieleden waren bij hem niet veilig. Hij liet onder meer zijn eerste vrouw, drie van zijn zoons en een aantal leden van zijn schoonfamilie doden. Volgens keizer Augustus dit hoorde zij hij: ” Je kunt beter Herodes’ varken zijn, dan zijn zoon.”
Herodes wilde dat het hele land in rouw gedompeld was bij zijn dood. Daarom gaf hij opdracht van iedere familie één vertegenwoordiger in het door hem gebouwde hippodroom te brengen en te doden, als hij gestorven was. Zijn zuster Salomé I liet echter, nog vóór Herodes stierf, deze onschuldige mensen weer vrij.
Dit geeft weer hoe Herodes de Grote zijn macht probeerde te handhaven onder het Joodse volk, maar totaal geen gezag had. Zijn angsten kostte veel levens en hij stichtte een waar schrikbewind.