Ο Σικελός κόμης Giovanni di Gravina, μετά τον τυπικό γάμο με τη Mathilde (Mahaut) d’Hainaut, πήρε φυσικά αμέσως τον τίτλο του πρίγκιπα της Αχαΐας. Όμως άσκησε τη διοίκηση στο πριγκιπάτο με βάιλους, οι οποίοι όμως, κατά την ετήσια ή το πολύ δίχρονη θητεία τους δεν μπορούσαν να ασκήσουν σοβαρά τα καθήκοντά τους και έτσι δεν υπήρχε τάξη και ησυχία στον Μοριά.
Η παρακμή συνεχιζόταν. Το μικρό ελληνικό δεσποτάτο είχε αρχίσει να μεγαλώνει και οι διοικητικές αλλαγές σ’ αυτό αφαίρεσαν από τους Φράγκους και την Αρκαδία ενώ αρκετοί βαρόνοι, όπως στην Άκοβα και στην Καρύταινα, είχαν αρχίσει να πωλούν τις κτήσεις τους στους Βυζαντινούς. Τελικά μόνο τέσσερις βαρονίες, αυτές της Πάτρας, της Βοστίτσας, και της Χαλανδρίτσας στηνΑχαΐα και τηςΒελιγοστής στην Αρκαδία, έμειναν στη δικαιοδοσία των Φράγκων. Για να προστατευτούν οι βαρόνοι από τη σαρωτική επέκταση του δεσποτάτου και αφού ο πρίγκιπας Giovanni di Gravina ήταν συνήθως απών, αποφάσισαν να προσφέρουν τις κτήσεις τους στη Βενετία ή στους Καταλανούς της Αττικής. Όμως η τελική προσφορά στους Βενετούς δεν έγινε δεκτή από τη Γαληνοτάτη Δημοκρατία, αφού τα κύρια ενδιαφέροντά της στην περιοχή ήταν μόνο τα δυο σημαντικά μεσσηνιακά λιμάνια, η Μεθώνη και η Κορώνη.
Τελικά το 1324, ο πρίγκιπαςGiovanni di Gravina αποφάσισε να εδραιώσει την εξουσία του στον Μοριά αλλά και στην Κεφαλονιά και τη Ζάκυνθο και έτσι έφθασε στη Γλαρέντζα όπου τον υποδέχθηκαν με το homage, το συνηθισμένο προσκύνημα, οι βαρόνοι της Αχαΐας. Τότε μαζί του εγκαταστάθηκε στην Ελλάδα η οικονομικά ισχυρή οικογένεια των Acciaiuoli από τη Φλωρεντία, ενώ έγινε και μια νέα διανομή των εγκαταλελειμμένων φραγκικών κτημάτων σε Ναπολιτάνους της ακολουθίας του. Όμως ο αδιάφορος πρίγκιπας Giovanni di Gravina ξαναέφυγε τον επόμενο χρόνο από το πριγκιπάτοκαι δεν ξαναπάτησε ποτέ το πόδι του στον Μοριά. Το φράγκικο πριγκιπάτοσυνέχισε να διοικείται με βάιλους
Το 1331 πέθανε ο αδελφός του, Filippo di Taranto και η εξουσία πέρασε στον ανήλικο γιο του Roberto di Taranto. Όμως ο Giovanni di Gravina δεν δέχθηκε την επικυριαρχία του ανιψιού του, που επιτροπευόταν από τη μητέρα του, αυτοκράτειρα Catherine de Valois και έτσι επήλθε σοβαρή κρίση στις σχέσεις τους.
Τότε όμως μεσολάβησε ο Nicollò Acciaiuoli, εραστής της χήρας πια «αυτοκράτειρας», μητέρας του Roberto di Tarantoκαι έτσι ο Giovanni di Gravina μεταβίβασε σ’ αυτήν το πριγκιπάτο για λογαριασμό του γιου της, ενώ αυτός ως αντάλλαγμα πήρε τις κτήσεις της οικογένειας στην Ήπειρο, Αλβανία και στο Δυρράχιο. Με αυτές τις ανφαλλαγές ο νεαρός Roberto di Taranto, έγινε ο νέος πρίγκιπας της Αχαΐας.
Έτσι, η ηγεμονία των d’Anjou στο πριγκιπάτο, συνεχίστηκε με τον ανήλικο Roberto. Ουσιαστικά όμως την εξουσία ασκούσε η φιλόδοξη αλλά και ικανή μητέρα του, η επίτιμη «αυτοκράτειρα της Κωνσταντινούπολης»CatherinedeValois-Courtenay που αρεσκόταν στον τίτλο της ηγεμονίδας της Αχαΐας. Η Catherine ήταν κόρη του Charles de Valois, αδελφή του βασιλιά της Γαλλίας Philippe de Valois και βέβαια χήρα του Filippo di Taranto. Εκτός όμως από αυτές τις «υψηλές» συγγενικές σχέσεις η Catherine de Valois έφερε και τον τίτλο της «Αυτοκράτειρας της Κωνσταντινούπολης» από τη μητέρα της, που ήταν κόρη του πρώτου Λατίνου αυτοκράτορα της Κωνσταντινούπολης, Baudouin II de Flandre etdeHainaut.
Η χαλαρότητα στη διοίκηση, την εποχή του Giovanni di Gravina, είχε φέρει αρκετά διοικητικά προβλήματα στο πριγκιπάτο. Η αναταραχή που επικρατούσε με την παρουσία στον Μοριά της γενοβέζικης οικογένειας των Zaccaria αλλά και με την ουσιαστική ανεξαρτητοποίηση της Πάτρας από τον αρχιεπίσκοπό της Guglielmo Frangipani, ανάγκασε την CatherinedeValois-Courtenayνα εγκατασταθεί,το 1338, στο πριγκιπάτο, συνοδευόμενη μάλιστα από τον εραστή της και πανίσχυρο οικονομικό παράγοντα Nicollò Acciaiuoli. Τότε ο Acciaiuoli ως υποτελής της ηγεμονίας, απέκτησε ως φέουδα χωρίς μάλιστα τις συνηθισμένες τιμαριωτικές υποχρεώσεις, εκτάσεις γης στην Ανδραβίδα, την Πρίνιτσα, την Καλαμάτα, τη Μάνη και το νησί της Κεφαλονιάς. Η Catherine έμεινε για δυο χρόνια στην Ελλάδα. Ο πάμπλουτος Acciaiuoli της πρόσφερε τα πάντα. Για τις ανάγκες ασφαλείας της ηγεμονίας έχτισε μάλιστα με δικά του έξοδα και ένα κάστρο για να υπερασπίζεται την ερειπωμένη από τις ληστείες περιοχή της Καλαμάτας. Για πολλούς αυτό είναι το κάστρο του Μίλα. Ως ανταπόδοση των υπηρεσιών του η ηγεμονίδα του παραχώρησε τη βαρονία της Καλαμάτας, το φρούριο της Πιάδας στην αρχαία Επίδαυρο καθώς και άλλα κτήματά της. Με τόσες εκτάσεις αλλά και σημαντική οικονομική δύναμη, ο τραπεζίτης από τη Φλωρεντία έγινε βάιλος στον Μοριά μετά την αναχώρηση της αυτοκράτειρας το 1340. Όμως ένα χρόνο μετά, έφυγε από τον Μοριά και ο Nicollò Acciaiuoli.
Τον ίδιο καιρό, μετά τη δηλητηρίαση του δεσπότη της Ηπείρου Ιωάννη Β΄ από τη σύζυγό του, ο βυζαντινός αυτοκράτορας Ανδρόνικος Γ΄, συνοδευόμενος από τον στρατηγό και μελλοντικό αυτοκράτορα Ιωάννη ΣΤ΄ Καντακουζηνό κατάφερε να προσαρτήσει την Ήπειρο και πάλι στις βυζαντινές κτήσεις.
Η φυγή όμως της Catherine και του Nicollò Acciaiuoli από τον Μοριά, αποθάρρυνε τα λιγοστά φραγκικά στρατεύματα, που βλέποντας και να λεηλατούνται τα παράλιά τους από τους Τούρκους, που είχαν αρχίσει τότε να φθάνουν ανενόχλητοι, αποφάσισαν να παραχωρήσουν την ηγεμονία του πριγκιπάτου στον Καντακουζηνό. Όμως η επεκτατική πολιτική του Σέρβου Τσάρου Στεφάνου IV Δουσάν αλλά και οι εμφύλιες διενέξεις των Βυζαντινών για την ανάρρηση στον αυτοκρατορικό θρόνο ενός από τους δυο αντιπάλους, δηλαδή του Ιωάννη ΣΤ΄ Καντακουζηνού ή του Ιωάννη Ε΄ Παλαιολόγου, απέτρεψαν τη φραγκική παραχώρηση αλλά και τα μεγαλεπήβολα σχέδια του Καντακουζηνού, για μια εδαφική ενοποίηση και αναςύσταση της αυτοκρατορίας από το Ταίναρο μέχρι την Κωνσταντινούπολη. Το 1346 η Catherine de Valois πέθανε, αλλά το πριγκιπάτο συνέχιζε να βρίσκεται στη δικαιοδοσία των d’Anjou με πρίγκιπα τον ενήλικο πια, αλλά και μονίμως απόντα Roberto di Taranto και τη γυναίκα του Maria de Bourbons, χήρα του βασιλιά της Κύπρου Hugues IV de Lusignan.
Η παρακμή των Φράγκων συνεχιζόταν. Από την παλιά πανίσχυρη κτήση των Villehardouin είχε μείνει στους Φράγκους λιγότερη από τη μισή. Η Λακωνία και σχεδόν ολόκληρη η Αρκαδία ανήκαν στο δεσποτάτο του Μυστρά. Οι περιοχές της Μεθώνης και της Κορώνης ανήκαν μόνιμα στη δημοκρατία της Βενετίας, ενώ και η Αργολίδα παραχωρήθηκε από τον Roberto di Taranto, στους de Brienne του δουκάτου της Αθήνας. Εκτός από αυτή την εδαφική συρρίκνωση του πριγκιπάτου από τους ανταγωνιστές και αντιπάλους του, υπήρχαν και οι κτήσεις του πανίσχυρου Nicollò Acciaiuoli. Παρά την αποχώρησή του από τον Μοριά, ο Acciaiuoli συνέχισε να αυξάνει τη δύναμή του αφού ο Robertodi Taranto, το 1358, πιεζόμενος από τους κατοίκους του πριγκιπάτου αναγκάστηκε να του παραχωρήσει για ασφάλεια από τις τουρκικές επιδρομές, το κάστρο και την πόλη της Κορίνθου μαζί με άλλα οκτώ κάστρα. Ανάμεσα σ’ αυτά ήταν και το κάστρο του Βουλκάνου στη Μεσσηνία. Τόσο μεγάλη ήταν η ιδιοκτησία του Nicollò Acciaiuoli, που μετά το θάνατό του το 1365, η διαθήκη του ήταν μια καλή τοπογραφική περιγραφή του φράγκικου κρατιδίου στον Μοριά.
Ο θάνατος του Roberto di Taranto το 1364, έφερε στην επιφάνεια το ζήτημα της διαδοχής του αφού, ο πρίγκιπας της Αχαΐας αλλά και επίτιμος αυτοκράτορας της Κωνσταντινούπολης, πέθανε άτεκνος. Η χήρα του όμως, Maria de Bourbons είχε από τον πρώτο γάμο της με τον βασιλιά της Κύπρου Hugues IV de Lusignan, έναν γιο, τον Hugues V de Lusignan ηγεμόνα της Γαλιλαίας, που αφού είχε χάσει το βασίλειο του πατέρα του στην Κύπρο από τον ετεροθαλή αδελφό του Pierre I, σκέφτηκε να το αναπληρώσει με τον τίτλο του πρίγκιπα της Αχαΐας. Όμως τον τίτλο του πρίγκιπα διεκδικούσε και ο αδελφός του Roberto Taranto, πρίγκιπας Filippo (IΙ) di Taranto, που έγινε δεκτός με προσκύνημα(homage)ως φυσικός διάδοχος του Roberto και από τους βαρόνους, τον αρχιεπίσκοπο της Πάτρας και τους διαδόχους του Nicollò Acciaiuoli. Βάιλος του Filippo IΙ di Taranto στο πριγκιπάτο, ήταν ο βαρόνος της Χαλανδρίτσας (Calandrice) Centurione I Zaccaria, που είχε εξασφαλίσει για τον Filippo ΙI di Taranto όλα τα φράγκικα κάστρα εκτός από το Ναβαρίνο. Έτσι η απόβαση της Maria de Bourbons και του γιου της Hugues V de Lusignan με δώδεκα χιλιάδες άνδρες, το 1366, στον Μοριά απέτυχε, αφού αντί για την κατάληψη της Πάτρας τους οδήγησε στον αποκλεισμό τους στα τείχη του Ναβαρίνου.
Εκεί όμως, η Maria de Bourbons και ο γιος της κατάφεραν να συλλάβουν τον βάιλο του Filippo IΙdi Taranto, Centurione I Zaccaria! Η γενίκευση της εμφύλιας σύρραξης των Φράγκων αποφεύχθηκε τότε χάρις στη μεσολάβηση του «πράσινου κόμη» Amédée IV de Savoie-Achaie, εγγονού του παλιότερου πρίγκιπα Philippe de Savoie, που κατάφερε να συγκεντρώσει τους εμπλεκόμενους αντιπάλους σε μια ειρηνική συνάντηση στο έδαφος της ουδέτερης βενετικής Μεθώνης. Τότε αναγνωρίστηκε η ανεξαρτησία του αρχιεπισκόπου της Πάτρας και η Maria de Bourbons και ο γιος της Hugues V de Lusignan συνέχισαν να κρατούν το πριγκιπάτο που είχε πλέον περιοριστεί στα νοτιοδυτικά του Μοριά. Όμως, μετά τη δολοφονία, το 1369 στην Κύπρο, του Pierre Ide Lusignan, η Maria και ο άλλος γιος της Hugues V, συνθηκολόγησαν το 1370 με τον Filippo IΙ παραχωρώντας του το πριγκιπάτο εκτός από την Καλαμάτα, με ετήσιο «ενοίκιο» 6.000 φλορινιών και έφυγαν για την Κύπρο. Όμως ο Filippo II di Taranto πέθανε κι αυτός άτεκνος, όπως και ο αδελφός του, το 1373.
Μετά τον θάνατο του Filippo ΙI, οι βαρόνοι αναγνώρισαν, το 1374, ως νόμιμη ηγεμονίδα τους τη Jeanne I di Napoli. Σ’ αυτή την απόφαση των βαρόνων σημαντικό ρόλο έπαιξε η καταγωγή του τρίτου συζύγου της, που ήταν γιος του βασιλιά Jaques ΙΙdi Majorca και συνεπώς πιο κοντινός απόγονος των Villehardouin, αφού ο βασιλιάς Jaques ΙΙ di Majorca, ήταν μακρινός εξάδελφος της Mathilde (Mahaut) d’Hainaut, ως γιος του Ferdinando di Majorca, γαμπρού της θείας της, Margarita de Villehardouin. Επειδή η Jeanne Idi Napoli, παρά τους τρεις γάμους της παρέμεινε άτεκνη, υιοθέτησε τον νεαρό Charles III του Δυρραχίου. Μετά όμως από δυο χρόνια διακυβέρνησης του Μοριά με βάιλους, το 1376 η Jeanne I παντρεύτηκε τον τέταρτο άνδρα της, τον Γερμανό Otto der Brunswick παραχωρώντας του και την ηγεμονία της Αχαΐας.
Τον επόμενο χρόνο, το 1377, το Πριγκιπάτο δόθηκε για πέντε χρόνια στους Ιππότες του Αγ. Ιωάννου (Hospitaliers) με ετήσιο ενοίκιο 4.000 δουκάτα.