Az egykor zselicszentjakabinak hívott monostort 1061-ben a Győr nembeli Ottó nádor és ispán alapította Szent Jakab hegyén, ahol már korábban is állt az említett szent tiszteletére szentelt, romos, elhanyagolt templom. Ennek falait felhasználták a kolostor templomának építésekor, amit 1067-ben, Salamon király, Géza herceg (később király) és fényes kíséretük jelenlétében szenteltek fel. Az épület -
helyenként több méter magasan álló falaival - romjaiban is hatalmas értéket jelent, mivel a kis számban fennmaradt 11. Igen értékes a korabeli kőanyag is. A templom szerkezete többféleképpen is rekonstruálható. Keleten félköríves apszisa, nyugaton feltehetően toronypárja volt. A középső részén négy nagy pillér kis tornyot vagy kupolát tartott. A templombelső négy sarkában félig zárt terek voltak, amelyek felett karzatok lehettek. A szentély előtt lévő, eredeti helyükön megmaradt faragott lábazatok diadalívet tarthattak, közöttük rekesztő/korlát állhatott. A monostor az alapításkor nagy adományokhoz jutott, bár a kegyúri család befolyása korlátozta ezt a gazdagságot. Az évszázadok során a területen további építkezések történtek. A templomtól északra lévő, nyolcszögletes, ülőpadkás hajóból és a nyolcszög öt oldalával záródó szentélyből álló templom a 13-14. században épülhetett, a kolostor melletti falu plébániatemplomaként működhetett, körülötte temető volt. Az apátság 1392-ben búcsú engedélyt kapott. században épült gótikus stílusban a templomhoz délről csatlakozó, nagyjából szabályos négyzetes udvarhoz, boltozott kerengőfolyosóhoz csatlakozó épületekből álló kolostor, amely maradványaiban ma is látható. A kolostortemplom is átépítésre került, újabb falszakasz építése mellett gótikus boltozatot kapott. századra datálhatóak a kolostor külső falaihoz épített erős támpillérek. 1508-ban az apáttal együtt 6 szerzetes élt az akkor jó állapotban lévő épületegyüttesben. 1543-ra a szerzetesek elhagyták az épületet, katonák érkeztek helyükre, majd a várrá alakított épület 1555-ben Kaposvár várával együtt török kézre került. A visszafoglaló háborúk után már nem épült újjá, a romok föld alá kerültek. Nagy Emese 1960 és 1966 közötti régészeti feltárása során kerültek újra felszínre.