Saboga e as Ilhas das Pérolas tem uma história muito rica que remonta a tempos précolombianos. Numerosos middens de conchas e armadilhas de peixes construídas para capturar peixes na maré baixa são lembretes dos povos indígenas originais que moravam aqui antes do espanhol chegar. As armadilhas de peixe, também chamadas de correntes de peixes, ainda são usadas hoje pelos moradores locais mais do que 500 anos após a sua construção original. As escavações arqueológicas patrocinadas pelo Smithsonian nas proximidades de Isla Pedro Gonzales foram datadas dos anos 8,000
Os muitos sambaquis de Saboga são os antigos lixões onde os indígenas jogavam seu lixo. A variedade de conchas do mar nos diz muito sobre sua dieta marinha, e fragmentos de cerâmica quebrada são misturados às conchas.
Em 1530 - menos de 40 anos após a descoberta das Américas por Colombo - todos os povos indígenas de Saboga morreram devido a doenças ou execução pelos conquistadores espanhóis. Sem uma população local, os espanhóis não tinham como colher as pérolas que deram o nome às ilhas. Então, eles rapidamente importaram escravos da África para fazer o mergulho de pérolas, e seus descendentes vivem aqui nas ilhas até hoje. Existem vilas de pescadores locais em Saboga, Pedro Gonzales e três em Isla del Rey que abrigam descendentes dos escravos originais.
Por volta de 1860, as ostras de pérolas mais rasas e mais fáceis de colher já haviam praticamente desaparecido e os mergulhadores tinham que ir cada vez mais fundo para colher ostras. Para resolver o problema, Julius H. Kroehl, um engenheiro alemão, trouxe sua nova invenção de Nova York. Foi o primeiro submarino verdadeiro do mundo, o 'Sub Marine Explorer', e permitiu aos mergulhadores colher ostras de pérolas em uma profundidade muito maior do que seriam capazes de alcançar por conta própria. O submarino usava ar pressurizado para manter a água do lado de fora, para que os mergulhadores pudessem simplesmente abrir a escotilha no fundo e nadar para coletar ostras. Infelizmente, a eventual morte de toda a tripulação, incluindo o inventor alemão Kroehl, de uma doença descompressiva até então desconhecida levou ao abandono de toda a aventura e do próprio submarino. Agora fica perto da praia onde foi abandonado na Isla San Telmo, e fica exposto na maré baixa e está lentamente corroendo.
Quando a indústria das pérolas finalmente entrou em colapso por causa da pesca excessiva, as ilhas derrubaram a obscuridade. O desenvolvimento da indústria de pérolas cultivadas no Japão nos primeiros 1900s condenou-o para sempre.
Em seguida, foi construído o Canal do Panamá, e as Ilhas Pérola ficaram sob a proteção da Marinha dos Estados Unidos, devido à importância estratégica do canal. Vários campos de aviação foram construídos nas ilhas durante a 2ª Guerra Mundial para que os aviões de observação pudessem procurar submarinos japoneses. Não foi até a década de 1970 que o primeiro desenvolvimento foi feito nas ilhas desde a chegada dos espanhóis em 1530. Isla Contadora foi desenvolvida como uma ilha para casas de férias para famílias abastadas do Panamá e abastados jet-setters internacionais. Ao longo dos anos, muitos atores famosos de Hollywood e magnatas dos negócios fizeram de Contadora um de seus locais de férias.