撤消市舶司之後發生了另外一個問題。浙江、福建、廣東等東南沿海地區，人口密度高，人多耕地少，不少人沒有生產資料。這些人作什麼呢？在通商的時候他們借一點資本出去作買賣，買一些外國貨到中國來賣；把中國的土產賣出去。因此，這些人是依靠通商來維持生活的。這是一種情況。另外還有一種情況，就是東南沿海的一些大地主，他們看到對外通商的收人比在農業生產上進行剝削要多好幾倍，因此從事對外貿易。他們自己搞了很多海船載運中國土產出國；同時把外國商品帶回來賣。沿海大地主依靠通商發財，這在當時叫作“通番”。“通番”的曆史已經很久了，宋朝後期就有許多大地主組織船隊出海通商的事。宋代關於這一類事情的記載很多。元朝也有。民間有這樣一個傳說，說明朝有一個大富翁叫沈萬三，他家裏有一個聚寶盆，這個盆裏可以出很多寶貝。這是傳說，事實並不是這樣。事實是他搞對外貿易發了財。有人說他富到這樣的程度，明太祖修建南京城時，有一半是他出的錢；此外，每年還要他出很多錢，因為在明朝和元朝作鬥爭的時候，他曾經站在元朝這一邊。所以後來明太祖幹脆把他的家產全部沒收了，把他充了軍。有的說是充軍到雲南，也有的說是充軍到東北。這個故事說明，當時是有這麼一部分人是依靠通商和對外貿易來發財的。所以，當時東南沿海地區的情況是，一方麵許多貧民依靠對外通商來維持生活，其中有一些窮苦的人長期停留在國外，這一批人就成為華僑。現在南洋各個地方都有華僑，大體上以廣東、福建人為多；另一方麵，沿海一些大地主依靠通商來發財。因此，當一五二三年，由於倭寇不斷騷擾沿海，明朝政府封閉了市舶司，斷絕了對外通商關係時，就發生了新的問題：一方麵很多窮苦人失去了生活來源；另方麵，沿海大地主失去了發財機會。他們要求恢複通商。在這種情況下，某些地主集團便采取反抗手段。你禁止通商，他就秘密通商。他們自己組織船隊出去，其中有一些照樣發了財，有一些就遭到倭寇的搶劫；而另外一些則采取和倭寇合作的辦法，他們也變成了倭寇。他們組織船隊出去，能夠作買賣就作買賣，不能作買賣就搶。因此，倭寇主要是日本海盜，但其中也有一部分是中國人。
除了倭寇之外，當時還有一種情況，即在十六世紀初年（1513年），葡萄牙人到東方來了。這些葡萄牙人一方麵進行通商活動；另方麵也進行海盜活動。不但進行海盜活動，而且占據了我國福建沿海的一些島嶼。