부친은 증우찬성 구주(九疇)이다. 서거정(徐居正)·신숙주(申叔舟)·김수온(金守溫) 등과 두터운 교우관계를 맺었다. 일찍부터 관직에 진출해 만년에는 대신의 반열에 올랐다.
 
1441년(세종 23) 진사와 생원에 합격하고, 식년문과(式年文科)에 급제한 뒤 경창부승 ·성균관주부를 거쳐, 이듬해 집현전(集賢殿)에 들어가 부수찬 ·교리 등을 역임하였다.

춘추관기주관(春秋館記注官) 겸 고려사수사관(高麗史修史官)으로 《고려사(高麗史)》 개찬(改撰)에 참여하였다. 이어 집현전직제학(直提學)에 승진, 1453년(단종 1) 왕명으로 《조선도도(朝鮮都圖)》 《팔도각도(八道各圖)》를 작성하고, 이듬해 《황극치평도(皇極治平圖)》를 찬진(撰進)하였다.

1455년(세조 1) 《팔도지리지(八道地理志)》를 편찬, 1463년 왕명으로 《동국지도(東國地圖)》를 찬진하고 홍문관(弘文館) 설치를 건의하여 책을 보관하게 하였다. 1469년(예종 1) 중추부지사(知事) ·홍문관제학(提學) ·춘추관지사를 겸직하며 《세조실록》, 1470년(성종 1) 《예종실록》 등 편찬에 참여하고, 공조판서를 거쳐 1471년 좌리공신(佐理功臣) 3등으로 남원군(南原君)에 봉해졌다.

1477년 대사헌에 재임되었고, 1481년 홍문관대제학(大提學)으로 《동국여지승람》 편찬에 관여하였다. 그해 문신정시(文臣庭試)에 장원, 1482년 서적의 인간(印刊) ·수장(收藏)에 관한 12조의 건의문을 올렸다.

그는 정주학자(程朱學者)이면서도 성리철학(性理哲學)만이 아니라 실용을 중요시하며, 국력배양과 민생안정을 도모했다.

26세에 관계에 투신하여 68세로 생애를 마칠 때까지 세종에서 성조에 이르는 6명의 국왕을 보필해 40여 년간 관직에 있으면서 330여 조의 상주문(上奏文)을 올렸다. 이 상주문에서 그는 경학·사학·문학·병학·지리·의학·음악·농법 등 다양한 분야에 대한 폭넓은 관심을 보여주고 있다.

그 중 사학(史學)은 그가 가장 큰 관심을 기울인 분야였다. 단군 이래의 민족사 정립과 교육을 강조해 문과시험에 중국사와 더불어 《삼국사기》《고려사》 등을 부과할 것과, 국왕의 경연(經筵)에서 국사를 강의할 것을 여러 번 진언했다. 그는 요수(遼水)의 동쪽이 우리 강역의 일부임을 주장하고 이를 수복해야 한다는 입장을 지니고 있었다.

이러한 그의 자주적인 국사인식은 중국에 대한 사대(事大)와 관련된 주장에서도 나타난다. 그는 우리나라가 단군이라는 독자적인 민족시조를 가지고 있고, 단군 이래 역사적으로 정치적 자치를 유지해왔으며, 문화적으로도 기자(箕子) 이후 중국과 대등한 수준으로 발전되어 군자의 나라라는 명칭을 들었으며, 언어·의관·풍속 등도 중국과 다르다고 했다.

우리나라는 중국의 제후국(諸侯國)이기는 하지만 천자의 직접통치를 받는 기내(畿內)의 제후가 아니라 정치적 자유와 독자적인 역사와 문화를 가진 민족국가로서의 제후라고 주장했다.

따라서 중국에 대한 사대는 힘의 강약에서 오는 불가피한 현상이지만 그 방법과 자세는 엄격한 한계가 있어야 한다고 믿었다. 즉 사대는 국가의 자주성과 독립성을 지키고, 국리민복에 지장을 주지 않는 한도 내에서 실행되어야 한다는 것이다.

사대외교는 첫째, 사신 파견의 횟수를 종전의 1/3로 줄여서 국가의 경비를 절감하고 중국으로부터 천시받지 않도록 할 것, 둘째, 명사(明使)에 대한 지나친 우대를 반성하고 진상품의 액수를 줄이며 금·은·주옥 등 희귀품의 진헌을 거부할 것, 셋째, 국왕의 생신일을 천자와 마찬가지로 절일(節日)로 승격하며 역대의 선조에 존호를 가상하고, 천자가 행하는 제천례(祭天禮)를 행할 것을 주창했다.

나아가 중국과 마찬가지로 번부악(藩部樂)을 설치하여 우리의 번방(藩邦)에 해당하는 일본과 여진의 음악을 채용할 것을 주장했다. 《고려사》 편찬에서도 고려시대의 독자적인 연호나 묘호(廟號)를 참칭(讒稱)이라 해 바꿀 필요가 없으며 국가도서(國家圖書)에 독자적인 연호를 제정하여 기재할 것 등을 상소했다.

요컨대 양성지의 사대론은 중국과 우리나라를 거의 동등한 위치에 정립시키려는 것이라 할 수 있다.

이러한 자주적인 사상은 부국강병을 위한 현실적인 대책과 연결되어 있다. 그는 무묘(武廟)를 세워 무풍(武風)을 장려하고 무신을 문신과 똑같이 우대하며, 강병을 육성하는 여러 방안을 제시하고 있다.

《군정십책 (軍政十策)》·《비변십책(備邊十策)》 등을 통해서는 군호(軍戶)의 정확한 파악과 이를 위한 호적의 정비, 군병에 대한 우대, 정병주의(精兵主義) 원칙 등을 주장해 세조의 보법실시를 반대하기도 했다.

또 국부(國富)의 증진과 유민의 정착을 위해 개간을 장려하고 해변이나 강 등에 방축을 쌓아 수전(水田)을 확보해 이들을 모아 정착시키는 방안을 제시했다. 그밖에도 각 도·군·현에 의료기관을 설치해 병든 백성을 구제하고, 사창제(社倉制) 실시를 반대하고 의창(義倉)을 설치하자는 주장을 하는 등 민의 생활과 직접 관련된 문제를 해결하는 방안을 제시하기도 했다.

이러한 주장들은 지나치게 이상에 치우친 것이라는 비판을 받기도 하지만, 전반적으로 조선 왕조의 지배체제를 보다 공고히 하기 위한 부국강병책(富國强兵策)으로 제기된 것이라 할 수 있다.

학문과 문장이 뛰어났으며, 문집에 《눌재집》, 저서에 《유선서(諭善書)》 《시정기(時政記)》 《삼강사략(三綱事略)》 등이 있다.