今此蔚山之役，天兵初日乘賊不備，以兵馬蹂之。賊倉惶不能支吾，奔敗不暇——
二十三日這天的戰鬥，倭寇被打了個措手不及，放棄了兵營城，轉而集體逃向蔚山倭城工事群落。希望借助島山和東部洞，及西部洞、東營、太和江寨這些防禦工事，繼續負隅頑抗。
倭寇退守蔚山倭城之後，重新進行了防禦部署：島山有加藤安政駐守，東麵的城隍堂有淺野幸長駐守，外城北麵有宍戶和加藤左衛門駐守，西麵則是太田一吉把守著。
倭城後方是太和江，渡過太和江南下就是西生浦。而加藤清正一開始聽說蔚山被圍，還不敢相信，以為是明軍放出的假消息，目的是引誘他出西生浦。
當確信消息為真，加藤清正當晚就帶著吉村左、吉村右等五十名士兵，乘坐小船從西生浦渡海，向蔚山倭城進發。途中遭到明軍堵截，損失二十人之後，剩餘三十人和加藤清正繼續進發，又趁著潮漲順利進入倭城，卸下軍資彈藥。而加藤的到來，仿佛也給倭城裏的人吃了定心丸。
二十四日卯時，麻貴、楊鎬發出進攻號令，督率官兵向蔚山倭城的外圍發起猛攻，‘書生大官’楊鎬親自披甲上陣督戰。
卯時天還大黑，但明軍的各樣火炮已俱發，趁著火炮的光亮，守城的倭軍尚能辨認出穿著紅、黑、白三色戰甲的明朝聯軍。而此時又刮起北風，城中的房屋一時火起，賊眾披靡，頓時亂成一團。
左協負責攻打倭城以東的築壘，李如梅主攻城隍堂，茅國器率部進攻伴鷗亭及東營，右協李芳春則帶人掃蕩倭城西麵的太和江寨。
茅國器一部攻勢最猛，率先攻破東營，之後又克伴鷗亭，再逼近西部洞。城西右協李芳春部逼近太和江寨，一開始還並不順利，好在其家丁先登，之後才順利奪下太和江寨。
攻打城隍堂的李如梅反倒進攻受阻，淺野幸長堅守城隍堂，一時間也無法攻陷，以至將外城的戰鬥拖到了午時才結束。不過這時左協的陳寅部向蔚山倭城的西北方發起了進攻，並連續攻破外柵和三層內柵，外城先登之後，又直逼島山內城。
加藤清正見外圍工事已破，堅守已毫無意義，便派人讓淺野幸長撤回島山城。而此時淺野也快抵擋不住李如梅的進攻，他當即就棄守了城隍堂，向島山逃去，李如梅隨即攻陷城隍堂。
攻陷城隍堂後，李如梅並未停下，而是繼續追擊，向島山方向殺去。他一路掃蕩，諸如土窟、鋪幕一時盡焚，斬落的首級也不知其數。
外圍防禦工事紛紛告破，隻剩下一座孤零零的島山內城。
但內城也是岌岌可危，火箭一支支射向城內，引燃一切可以燃燒的東西，火勢之猛又很快蔓延到城中。
四處都在燃燒，彌漫的煙霧遮掩了視線，即便從最高處的本丸向四周看去，同樣分不清哪是哪。但他們能看清近處明軍攻城的模樣：巨大的鐵鉤鉤住城牆，而後集百八十人之力，用力拽住鐵繩一拉，城牆頃刻倒塌，隨後明軍便從倒塌處試圖攀上城牆。雖說倭軍拚死阻止，無奈明軍後援是源源不斷，光應付攀牆的明軍已是非常吃力。
眼看李如梅就要直搗內城，在鶴城山督戰的楊鎬也是意氣風發，接伴使李德馨向他稱謝，楊經理笑笑道：“隻是小捷，看我剿滅西生、釜山之賊，方可言喜！”此時他隻覺勝券在握。
不過明軍還是小覷了島山內城的堅固，而且因前日奔襲而來，棄了很多重型火炮，身邊隻有霹靂炮、虎蹲炮、大口碗這類火器，另外明軍攻城的器械諸如雲梯、衝車等，乃至禦丸之物幾乎沒有，僅憑肉身攻城，肯定傷亡不小。
但李如梅手下的二百士兵還是攻上了本丸，正與倭軍廝殺開來。
可偏偏這緊要關頭，後方卻突然鳴金收兵。原來是麻貴下令停止攻城，這讓已先登的士兵一下沒了後續接應。本來還在抵抗的倭軍趁機反殺，可惜這二百人，才殺開血路就又被圍住，進也不能，退也不能，轉瞬就喪命於此。
麻貴勒令李如梅收兵後，明軍暫停攻城，機會稍縱即逝。倭軍有了一絲喘息之機，也趁此加強了防禦。待明軍再度攻來時，依靠防禦優勢，居高臨下對城下左右協的明軍還以炮擊。本丸可以覆蓋二丸三丸在內的大部分範圍，一時竟打得明軍無法靠近。
受命堵截釜山援軍的中協也被調了回來協助攻打島山，為了盡快贏得勝利，麻貴下令改用大炮轟擊，但普通的火器對於堅固的城垣沒有絲毫破壞力，即便換上虎蹲炮和霹靂炮也一樣。
快一整天的時間都毫無進展，麻貴隻得宣布後撤。
城內倭軍見明軍後撤，淺野、太田、加藤等部也趁此反擊，相繼殺出，滯後的明軍不敵，多人戰死。加藤安政則繼續殺至島山大門，確認明軍已退後方才回到城內。