そして、いよいよ敵討ちが始まります。又右衛門の書いた「敵討助太刀始末書」に拠ると、戦いは辰の上刻（午前8時）に始まって、終わるまでに6時間を要したとあり、大変な闘いでした。
双方のメンバーはというと、又右衛門側は、又右衛門に渡辺数馬、河井武右衛門、森孫右衛門の4名。敵側は、河合又五郎、河合甚左衛門、桜井半兵衛、溝口八左衛門など20名あまり。4対20では又右衛門側が不利に見えますが、敵側には槍持ち、小者、馬士などほぼ戦力にならないような面々が含まれているため、実質4対4といったところ。講談などでは、「荒木又右衛門の三十六人斬り」が有名ですが、実際には36人も斬る相手はいなかったようです。
また、『伊賀越』の人形浄瑠璃の語りでは
「股五郎相人に和田志津馬、手利きと手利きの晴勝負」
とありますが、実は又五郎（『伊賀越』では股五郎）も数馬（『伊賀越』では志津馬）も剣術はあまり得意でなかったよう。それで決着がつくまでに時間がかかってしまったようです。『累世記事』には、数馬はなんとか又五郎を討ち果たしたものの、深手を負っていたとあります。