他的第一步任务本是先夺取山外地区的长坪、广富等十一个山区市镇；以逐步夺取同样隶属于桂阳监的平阳冶名下的二百八十余处大小铜坑，并茅寿、白竹、九鼎、大富等九处银场。swisen.com
但是在查抄陈氏所霸占的产业和清算了相关人等之后，当地矿户、山丁亦被发动了起来，他们听到大豪陈彦谦已经败亡逃走之下，居然踊跃为之向导和引路；请求义军彻底铲除这个“地方久苦”的祸害。
因此在势如破竹的连下七八处市镇之后，不但抄获了许多积聚在当地未来得及带走的银铤和红铜锭，还在埋头猛攻之下误打误撞得冲到了，位于山中盆地之腹的平阳城外了。
然后就有先头人马发现，这平阳城中居然在闹内讧；而门户大开不断有人逃出来，所以霍存干脆带人杀进去抢下一个城门再作打算；结果发现除了些许正在街头抢劫的乱兵、游民之外，遇到的抵抗和阻力几乎是微乎其微；
于是在等不及后队赶上来的情况下，他就仅凭身边剩下的七八百人举着数倍的旗帜，虚张声势的向着州城内城扑杀而去；结果内城城门亦是在少量守兵的一哄而散之下轻松易手。
直到杀进了刺史所在的州衙附近，才发现遇到成群结队挺刀持枪正在对峙的两方人马；但是这一刻霍存身为老义军骨子里的谨慎和机变，再次占据了上风。
他只是按捺住跃跃欲试的部署们不得冒然闯入，却又使人潜近双方附近的房上，对着两方各自胡乱射了几箭；然后就成功挑起了对峙双方的火并当场。
待到这场厮杀的双方死伤累累而精疲力竭之后，方才以生力军的面貌杀入府衙之中，将双方的残余人马都一起击溃镇压了下去；当场杀敌数百而俘获千余人，而义军伤亡不过百余人而已，霍存也在肩膀上挨了一法流矢。
然后又使人敲锣打鼓的晓谕