���ҝK1858年4月，“克拉克——洛克菲勒公司”開業了。這個由兩位年輕人創辦的公司，從一開始就得到了業界的熱情對待。當地的報紙這樣寫道：“我們建議本報的讀者垂顧這兩位經驗豐富、負責任、交貨及時的商人開辦的商號。”
公司進展得非常順利，他們經營穀物、魚類、水、石灰、奶酪等。他們敢冒風險，同時也獲取巨大的利益。這讓洛克菲勒更加自信，他認為自己天生就是一塊經商的料兒。
不過，商業風險是任何經營者都必須麵對的。在“克拉克——洛克菲勒公司”開業兩個月之後，就遭遇到了一次慘重的損失。他們和一家農場簽訂了購買豆子的合同，不巧當地遇上了霜凍，所以，當他們收到貨物時，竟然已經壞掉了大半，且裏麵還摻雜著沙土和廢物。
因為這筆豆子生意的失利，使得公司的資金周轉一度出現了問題，所以洛克菲勒不得不向父親求助。雖然他並不想這樣做，但為了給自己的客戶足夠的信心，他們努力塑造一個財力雄厚的形象，讓客戶相信他們能提供大筆的預付款。
不過，做生意總是有賠有賺，關鍵要看總體的收益。在克拉克，洛克菲勒公司成立的當年年底，他們就賺了4400美元的利潤，這在當時是一筆非常可觀的巨款。
為了吸引更多的資金投入，公司於1859年邀請了另一個合夥人加德納的加入，此人是克拉克先前的同事，也是當地的名門之後，因為加德納家族在當地具有相當的影響力以及財力，公司由原先的“克拉克——洛克菲勒公司”改名為“克拉克——加德納公司”。洛克菲勒在公司裏的地位明顯下降了，其中一個原因就是，他是三人之中年紀最小的一位。
盡管洛克菲勒心裏很不滿，但他沒有表露出來，裝出了一副若無其事的樣子。他在心裏暗暗地說：“別得意，過不了幾年，我會做得比你們都出色。”這個不滿21歲的小夥子，比起那兩個大他10歲的合夥人來，表現得更老到，更成熟。
他告誡自己凡事要小心，不能得意忘形，更不能氣急敗壞。幾乎每天晚上，洛克菲勒都要與心中的上帝對話，這個習慣他保持了一生。他後來曾說：“我敢肯定的是，我與自己的私下交談，對我的一生產生了很大的影響，我生怕自己承受不了巨大的成功，一再告誡自己不要被任何愚蠢的主意衝昏了頭腦。”
洛克菲勒嚴謹的作為，雖然為他的合夥人所難以接受。但在生意場上，他很快便建立起了極佳的信譽，這讓他獲益匪淺。客戶們都非常信任他，這讓他做起生意來容易得多。而且，他這種穩重的作風，在麵對新客戶時也同樣有效。他從不與對手直接爭奪客戶，而是堅持自己的做法，實實在在地介紹自己的公司。
與刻板、內向的外表不相稱的是，洛克菲勒是一個非常善於和人打交道的年輕人。他非常固執，對於自己看中的事情，從不輕言放棄。雖然他曾多次被銀行拒絕，但他從不氣餒。在公司成長的過程中，實際上是離不開銀行的幫助的。
洛克菲勒在談到自己的發展之路時說：“在我經商的整個過程中，最棘手的問題就是如何得到足夠的資本，去做我想做的，有能力做而且隻要有足夠的錢就能做到的事情。”為了籌措資金，他父親一度也是他重要的債權人。當然，他最重要的資金來源，還是向銀行借貸。
經常與銀行打交道的經曆，將他鍛煉成了一個談判高手。而對比自己實力雄厚的對手，他表現得詭計多端，而且他往往大造聲勢，以期獲得對方的信任。
1862年，洛克菲勒將加德納趕出了公司，他對這個出身名門、花天酒地的合夥人早就看不順眼了。公司的名稱重新恢複為“克拉克——洛克菲勒公司”。
1863年，在一個叫安德魯斯的照明專家的遊說下，洛克菲勒和克拉克共同投資4000美元，成立了“安德魯斯——克拉克公司”，這標誌著年僅24歲的洛克菲勒正式進入了石油業。
他們將公司的煉油廠設在金斯伯裏的一條小河的岸邊，那裏離克利夫蘭市中心有一英裏半的路程。依照洛克菲勒的個性，他是不做則已，一做則全力以赴。他將自己的大部分精力，從貿易公司轉移到了煉油廠上麵。每天早上6點半，他們都會來到煉油廠的製桶車間，把油桶一個個推出來。
那時的洛克菲勒，不是一個隻會躲在辦公室裏指揮別人的老板，他喜歡自己動手處理一些事情，即使是麵對一些在別人眼裏微不足道的錯誤，他也會認真對待，從不馬虎。
公司在洛克菲勒的精心打理下，煉油業務取得很大的成功，不到一年，業務量就超過了農產品生意，成為公司最賺錢的業務。
如果說洛克菲勒最初進入石油業是多虧了安德魯斯的遊說的話，而他後來對石油的熱情則完全出自於自己的判斷。
據他的弟弟威廉後來回憶，由於當時兄弟倆住在同一所房子裏，洛克菲勒經常深更半夜地把他推醒問道：“我正在想一件事，想聽聽你的意見。”
睡夢正酣的威廉對哥哥抗議道：“我想睡覺，有什麼事明天再說不行嗎？”不過，有時他還是中斷睡眠，聽洛克菲勒講他對石油的看法。
同樣的情形也常發生在辦公室裏。洛克菲勒常常對那兩個比自己大十多歲的合夥人大談石油，而他們對洛克菲勒總是言聽計從。石油不僅帶給洛克菲勒前所未有的巨大成功，也讓他從中感受到了樂趣。
就像他早年的一個下屬所說的那樣：“我唯一看到洛克菲勒充滿激情的時候，是從油溪傳來的消息，說他的買主以遠遠高於市場行情的價格買下一批石油，他聽後興奮地大叫，一下跳了起來，還擁抱了我，然後又把帽子扔到半空中。那時他差點兒就瘋了！真是叫人終生難忘的情景啊！”