在中午十一时左右，幕府军失守桃配山，剩余的军队全部都退守到南宫山。而这时在桃配山上，已堆积满了幕府军士兵的尸体。
中华军占领了桃配山之后，立刻就在桃配山上清理战场，建立阵地，但暂时停止了继续向南宫山发动进攻。而这时商毅也下令，将自己的主营推进到桃配山去驻扎,同时严令左右两路的倒幕军，尽快解决幕府军的山下部队。
而这时在南宫山上，好不容易从桃配山上逃下来的德川直义，跌跌撞撞的跑到了酒井忠义的面前，放声大哭，道：“家老大人，都怪我无能，没有能够守住阵地，桃配山已经失守了，现在我们该怎么办？”
酒井忠义赶忙扶住了下徳川直义，安慰道：“直义殿下，桃配山失守，也不能怪你，实在是中华军……”
但说着说着也说不下去了，因为酒井忠义心里也十分清楚，桃配山失守，也就意味着整个关原战场的局势已势倒向了倒幕军的一方，这并不仅仅是桃配山的地理位置太重要了，离南宫山的距离也就只有一千多米不到两千米。而更为主要的是，中华军刚才进攻桃配山战斗的整个过程，酒井忠胜和幕府军的众将都看得十分清楚，实在是太可怕了。
其实在这一战中，中华军根本就沒什么花哨的战术，甚致表现得像是并没有尽多大的力，一付游刃有余的样子，而且幕府军的抵抗也不能算不努力，但中华军完全就是凭着绝对的优势实力，靠着火炮、火枪互相协助，层层推进，步步紧逼，硬吃幕府军，打得幕府军有力使不上，几乎一点脾气都没有。而且尽管南宫山比桃配山要高，要大，但能不能抵挡得住中华军这种步炮协作的一体式进攻，酒井忠胜心里可是一点底都没有了。
在此之前，酒井忠胜还幻想着可以依靠兵力上的优势，依靠幕府军奋力死战的武士精神，和中华军拼一拼，但现在酒井忠胜心里己经彻底绝望了，毕竟在中华军的这种战术面前，就算是幕府军想拼命也无从拼起。一直到这个时候，酒井忠胜才意识到，而正是由于自己主张对中国强硬的决策，终于惹出了中华军这样一个几乎是根本不可能战胜的对手。而当初松平信纲和阿部忠秋再三劝告自己，放底姿态，不要与中国为敌，现在看来是多么正确的决定。
因此现在酒井忠胜心里也暗暗后悔，为什么那时就没有听从松平信纲和阿部忠秋的劝告，才导致了现在的局面。而且现在整个徳川幕府的精锐已经全部都集中在关原地区，这一战失败，也就意味着德川幕府彻底亡灭，也可以说，德川幕府的灭亡，正是酒井忠胜的错识决策造成的。
而就在这时，忽然又有人来报，原来幕府军的左右两翼的阵地都己经被倒幕军攻破了，这也就意味着现在的幕府军只剩下了南宫山的阵地，而且陷入了倒幕军的三面包围之中。
原来就在中华军向桃配山发动进攻的同时，其他的倒幕军也分别向幕府军的左右两翼展开进攻，由于中华军出战，也让其他的倒幕军军心大振，由其是中华军进攻桃配山的轰轰炮火，对倒幕军来说，不谛于是助威的战鼓声，因此倒幕军也都奋起斗志，又向幕府军发动猛攻。
前三天的战斗，也让幕府军的左右翼军的士气虽然也有一点振奋，但连战三天也都巳疲惫不堪，而且损失惨重，加上现在倒幕军由三路合并成两路，毎一路的兵力都得到了加强，而且幕府军的左右翼都已经退守到了本阵中，因此战局从一开始，就明显不利于幕府军的一方。
而且在桃配山的战场上，中华军的炮火、枪声一直响个不停，并不断的传来幕府军不利，桃配山的阵地失守的消息，对倒幕府军当然是鼓舞，而对幕府军左右翼的士气，也是进一步的打击，因此倒幕军也越战越勇。结果经过了一番激战之后，幕府军的左右翼的部队终于支持不住，左右两翼的主将徳川光圀、阿部正能、阿部正春、松平纲隆等人也只好放弃了左右两翼的阵地，带领着残兵败将，败上了南宫山。
幕府军的各路败军都退上了南宫山，巳经在南宫山上云集了十几万幕府军的人马，但人心惶惶，军心不安，己经出现了士兵逃亡的现像，而且有不少大名都在想着，自己是不是也该背着酒井忠胜，从南宫山上撤退。因此各大名们也纷纷找自己熟识的大名商议讨论，现在应该怎么办？
而这时酒井忠胜把剩的大名叫到了自己的大帐里，商议对策，在前面的战斗中，有一些大名战死在战场上，也有少数逃跑，但现在还有一百六十二位大名，也把整个大帐挤得满满当当。
酒井忠胜首先道：“各位殿下，现在的局势对我们非常不利，是我忠胜无能，才导致战局到了如此一步，到了这一步，我也沒有什么好说的了，我决意就留守在这里，和中华军决一死战，为幕府尽忠，而各位都可以自行决定自已的去留，悉听尊便。”而在说完之后，酒井忠胜又在心里默默的道：“松平大人、阿部大人，看来我只能到另一个世界里，再向你们道歉了。”
其实早在桃配山被中华军攻破了之后，酒井忠胜就己经下定了决心,就在战场上战死,也决不逃回江户去,因为酒井忠胜对德川幕府一直都是忠心耿耿的,当初主张对中国强硬,从心里来说，也是为了徳川幕府的利益。包括发动政变，暗杀了松平信纲和阿部忠秋，也并不是出于私怨，而是酒井忠胜认为他们出卖了幕府的利益。
但现在看来，松平信纲和阿部忠秋的意见才是对的，而正是酒井忠胜的做为，却成了导致德川幕府毁灭的主要原因，对于酒井忠胜来说，这是绝对不可原谅的过失，而且也确实无脸再回到江户去见徳川家纲和徳川幕府的家臣们，仅仅是出于酒井忠胜的自尊心来说，就可以说除了剖腹自尽之外，唯一的后路就是在战场上战死了。