楊善會是在城破之日被竇建德親手活捉的。當時他發現已經無力回天，便生出了玉石俱焚的念頭，帶著二十幾名死士衝下馬道，直撲竇建德的大旗。沒等走完預計路途的一半兒，死士們就被人海吞沒了。楊善會手刃數人，精疲力竭，這個時候，卻發現圍困自己的嘍囉兵全退了下去。
目標就在眼前，持刀向自己致敬。為楊善會大喝一聲，集中全身上下最後的力氣撲將上去。他期待自己能跟竇建德同歸於盡， 怎奈雙方武藝差距實在太大。隻是一個照麵，竇建德便打落了他的兵器。隨後輕飄飄一個轉身，將橫刀壓在了他的脖頸之上。
“殺我！”楊善會扭頭，以頸試刃。竇建德的撤刀動作比他的脖子扭得還快，迅速閃開，然後橫掃一腿，將其當場踢暈。
對如此不知道好歹的家夥，竇家軍上下恨不得立刻將其碎屍萬段。竇建德卻拗不過自己的愛才之心，吩咐大夥將楊善會綁起來押入監牢，先磨一磨其心中傲氣後再做定奪。
竇建德審了五天案子，楊善會在監牢裏關了五天，前三天每日一醒來，便立刻對竇建德破口大罵。到了第四天頭上，他終於罵不動了，抓起竇建德命人送來的酒水，大吃大喝，然後蒙頭大睡。到了第六天，看看空空蕩蕩的大牢和對自己滿眼敵視的牢友，他連吃喝的興趣也沒了，帶著幾分熏然之意，笑著對看守自己的嘍囉說道：“竇大當家忙完了麼？煩勞你去通稟一聲，就說我想見見他！”
嘍囉們天天盯著他怕他尋死，正巴不得早日解脫。猛然間發現他的口風變了，以為他果真如竇建德說的那樣被磨平了傲氣，趕緊跑著去向大當家回稟。
竇建德正在二堂與宋正本、王伏寶、曹旦、程名振等一幹文武商量如何以最小的代價拿下武陽郡的事宜，聽聞楊善會屈服，心中大喜。立刻命人給楊善會除去鐐銬，沐浴更衣，以貴客之禮迎到二堂品茶。
嘍囉們領命而去。過了片刻，楊善會收拾齊整，坦然而入。看到竇家軍幾個主要人物都在，包括曾經多次打敗自己的程名振也在場，他歎了口氣，衝著大夥四下拱手。“大隋清河郡丞楊善會，見過諸位英豪！”
“楊公不必客氣。我等仰慕楊公，如禾苗待露。”竇建德率先迎上前，笑嗬嗬地還禮。
有大當家帶頭，其他人無法不跟隨。或者板著臉，或陪著笑，一個個陸續跟楊善會打了招呼。
寒暄過後，分賓主落座。不待竇建德開口，楊善會搶先說道：“蒙竇當家厚愛，讓楊某在牢獄中自省。某這幾天也想清楚了，大隋朝如今已經如日薄西山，的確沒人可以回天！”
竇建德一聽，臉上立刻綻放出真誠的笑容，“楊公既然看清楚了，何不加入我軍共謀大業？楊公之才堪比管樂，加以時日，何愁他日不鍾鼎而食。”
“年少時素有此誌，誰料蹉跎至今！”楊善會歎了口氣，再度打量座中眾人。他沒想到竇建德一介草莽，說起話來還能像讀書人一樣咬文嚼字。更沒想到竇家軍麾下居然有這麼多熟悉的麵孔，宋正本、孔德紹，淩敬，王仲卿、何思謀，這些人原來都是他的同僚，此刻在這種場合相見，難免有些尷尬。因此一個個都盡力不與他的目光相接，臉上的表情卻好像在清晰地勸告，“降了吧，就跟我們一樣。竇建德是個有帝王氣量的人，絕對不會對過去的事情耿耿於懷。”
“昔太公白首垂釣，誰敢欺之老？”聽楊善會的歎息中充滿了不甘，竇建德以為他心思已經動搖，繼續苦口婆心的勸告。
他的話裏引用了商周交替的典故，把對方比成了輔佐周武王伐紂的薑子牙。宋正本與孔德紹聽見了，微笑著點頭。王伏寶、石瓚和楊公卿等人聽不懂，但也知道這是一句很厲害的恭維話，也跟著笑嗬嗬地看著楊善會，等著他的答複。唯有曹旦不太高興，瞪圓了眼睛躍躍欲試，隻等著楊善會說錯一句話，便跳上前將其拎出去砍死。