從克格勃的內部組織上來看，可謂職權分明，機構龐大。領導機構為主席團和全委會，而其下屬有多個局。

第一總局是對外情報偵察部門，它對駐國外間諜機構實施領導，並從蘇聯本土進行情報偵察，指導他們所在地區的國家安全機關第一線分隊的工作。

第二總局從事反間諜情報偵察工作，實施反間諜鬥爭，並從事與外國代表機構和旅遊系統有關的工作，同時還在蘇聯領土上進行某些偵察活動。

第三總局負責制止外國特工機關對蘇聯武裝力量的破壞，領導有關軍事部門和部隊的特別勤務處的工作。

第四局負責所有交通運輸部門的反間諜情報偵察活動的實施。

第五局負責與意識形態破壞活動進行鬥爭。

第六局負責各個國防工業目標和某些科研中心的反間諜情報偵察工作。

第七局的任務是對委員會感興趣的目標實施屋外監控。這就是國家安全委員會所有業務方向都很需要的重要偵察部門。就人數來說，該局是相當大的，其主要特點是時刻保持戰鬥準備，以便能晝夜執行任務。正是由於這個部門的活動，才得以經常發現並制止外國特工機關的間諜活動，判定他們的犯罪聯絡，查清他們打入蘇聯要害部門、與蘇聯公民聯絡、實施隱秘行動和透過目視途徑取得情報的意圖。

第八總局負責編制總部機關與地方機關以及情報偵察機關與駐國外情報機構通訊聯絡的秘密電碼集。該局擁有制定密碼通訊體系的現代化技術和科學裝備，能切實保證國家安全委員會的密碼通訊，並絕對保障這種通訊能在離總部機關的任何距離晝夜不停地工作。

第九局擔負保衛職能，它負責保障國家高階領導人、國家最高規格的禮儀場合、外國代表團來訪和蘇聯代表團出訪的安全。

第十局集中存放國家安全機關在蘇聯時期以及蘇聯以前時期積累的業務統計文獻和檔案資料，因此在工作人員的談話中通常固定地稱之為“檔案處”。

第十二局主要參與技術監聽。

第十五局從事的工作是設計、建造並按需要的制度管理某些目標。

第十六局的工作與第八總局相當接近，此外還下轄邊防軍總局和偵查技術局等。

然而在蘇聯驟然崩解後，俄羅斯繼承了蘇聯大部分的遺產，俄羅斯聯邦政府改組克格勃成為今天的俄羅斯聯邦安全域性，簡稱FSB，而原克格勃第一總局改為俄羅斯對外情報局，雖然隨著俄羅斯與蘇聯相比國力大不如前，但其勢力任然不可小覷。