Γεννήθηκε τον Φεβρουάριο του 1919 στο Ψάρι της Μεσσηνίας και προέρχεται από οικογένεια με στρατιωτική παράδοση.
Αποφοίτησε από τη Στρατιωτική Σχολή Ευελπίδων το 1939 ως ανθυπολοχαγός του Μηχανικού, αλλά πολέμησε στην πρώτη γραμμή ως διοικητής λόχου Πεζικού στο Αλβανικό Μέτωπο το 1940-1941, συμμετέχοντας στην απελευθέρωση της Βορείου Ηπείρου. Κατά την Κατοχή διέφυγε στη Μέση Ανατολή όπου υπηρέτησε στις μάχιμες μονάδες του Ελληνικού Στρατού. Μετά το 1945 συνέχισε τις σπουδές του με υποτροφία του Στρατού στo Ινστιτούτο Γούλιτς (Woolwich) της Μεγάλης Βρετανίας.
Yπήρξε διοικητής διάφορων Μονάδων του Στρατού, καθηγητής της Σχολής Ευελπίδων, και παράλληλα ειδικός σύμβουλος στο τότε Υπουργείο Συντονισμού. Τελικά παραιτήθηκε από το στρατό με το βαθμό του Συνταγματάρχη (ΜΧ) και πολιτεύτηκε με την Ένωση Κέντρου στη Μεσσηνία όπου εξελέγη βουλευτής το 1963 και 1964. Καθ' όλη τη διάρκεια της δικτατορίας (1967-1974) ανέπτυξε έντονη αντιστασιακή δράση συμμετέχοντας στην συλλογική ηγεσία της αντιστασιακής οργάνωσης ΕΚΔΑ(Εθνικό Κίνημα Δημοκρατικής Αντίστασης).
Το καλοκαίρι του 1967 φυλακίστηκε και εξορίστηκε στη Γυάρο. Μετά από σύντομη αποφυλάκιση κρατήθηκε εκ νέου στις φυλακές και εξορίστηκε από το 1968 μέχρι το 1971, οπότε ανέλαβε την ηγεσία του ΠΑΚ (Πανελλήνιο Απελευθερωτικό Κίνημα) στην Ελλάδα. Μετά τα γεγονότα του Πολυτεχνείου, στα οποία είχε ενεργό συμμετοχή, συνελήφθη και βασανίστηκε στην Ε.Σ.Α. απ' όπου μεταφέρθηκε στη Γυάρο μέχρι την πτώση της δικτατορίας.
Το 1974 μαζί με τον Ανδρέα Παπανδρέου και άλλα στελέχη του κινήματος ίδρυσε το ΠΑΣΟΚ, του οποίου διετέλεσε κοινοβουλευτικός εκπρόσωπος (1977-1981) και μέλος του Εκτελεστικού Γραφείου (1977-1985). Ο Γιάννης Χαραλαμπόπουλος κατείχε το αξίωμα του Υπουργού Εξωτερικών από το 1981 μέχρι το 1985, ήταν Αντιπρόεδρος της ελληνικής κυβέρνησης από το 1985 μέχρι τον Ιούλιο 1989, ενώ από τον Απρίλιο του 1986 ως τον Ιούλιο του 1989 ήταν ταυτόχρονα και Υπουργός Εθνικής Άμυνας. Κατά την δεύτερη κυβέρνηση ΠΑΣΟΚ (1985-1989), ήρθε κάποιες φορές αντιμέτωπος με τον έτερο Αντιπρόεδρο, Μένιο Κουτσόγιωργα. Ο Ανδρέας Παπανδρέου είχε αναθέσει την εποπτεία του Κυβερνητικού Συμβουλίου Εξωτερικών και Άμυνας (ΚΥΣΕΑ) στον πρώην συνταγματάρχη Χαραλαμπόπουλο, και την εποπτεία του Κυβερνητικού Συμβουλίου (ΚΥΣΥΜ, η σημερινή Κυβερνητική Επιτροπή) στον Κουτσόγιωργα.
Αν και προερχόταν από τον κεντρώο χώρο, εξελίχθηκε σε ένα από τα αριστερά στελέχη του ΠΑΣΟΚ, και ήδη από την περίοδο του αγώνα εναντίον της Χούντας είχε αναπτύξει σχέσεις με σοσιαλιστικά και εθνικο-απελευθερωτικά κινήματα σε διάφορες χώρες: μάλιστα ο τουρκικός Τύπος τον είχε κατηγορήσει ότι ως Υπουργός Εθνικής Άμυνας βοηθούσε με όπλα τους αντάρτες Κούρδους του PKK.
Το 1993 το ΠΑΣΟΚ επέστρεψε στην κυβέρνηση αλλά πλέον ο Χαραλαμπόπουλος ήταν αποστασιοποιημένος από τις κεντρικές επιλογές της ηγεσίας του.
Τον Ιανουάριο του 1996 και μετά την παραίτηση του Ανδρέα Παπανδρέου από το αξίωμά του πρωθυπουργού, έθεσε υποψηφιότητα για την ανάδειξη νέου πρωθυπουργού, που θα εξέλεγε η κοινοβουλευτική ομάδα του ΠΑΣΟΚ. Δεν κατάφερε να εκλεγεί με αντιπάλους τους Κώστα Σημίτη, Άκη Τσοχατζόπουλο και Γεράσιμο Αρσένη (εξελέγη ο πρώτος).
Ηταν παντρεμένος με την Άγα Χαραλαμπoπουλου, πρώην πρόεδρο της Ένωσης Γυναικών Ελλάδας. Απέκτησε δυο παιδιά τον Γιώργο - Ερνέστο, πρώην βουλευτή του ΠΑΣΟΚ στη Β' Αθηνών και δικηγόρο, και τον Χάρη Χαραλαμπόπουλο.
