Albany Movement perustettiin 17. marraskuuta 1961 opiskelijoiden väkivallattoman koordinointikomitean (Student Nonviolent Coordinating Committee, SNCC), värillisten ihmisten edistämiseksi toimivan kansallisen yhdistyksen (National Association for the Advancement of Colored People), ministeriliiton (Ministerial Alliance), naiskerhojen liiton (Federation of Women’s Clubs) ja neekerien äänestäjäliiton (Negro Voters League) edustajista. Albany Movement toteutti Georgian osavaltiossa sijaitsevassa Albanyssä laajamittaista kampanjointia, jossa vastustettiin kaikenlaista segregaation määräämisestä johtuvia eriytymiskehotuksia. King ja Southern Christian Leadership Conference (SCLC) liittyivät tilapäisesti yhteenliittymään, mikä toi Albanyyn kansallista julkisuutta. Vaikka Albany-liike onnistui mobilisoimaan massiivisia mielenosoituksia joulukuussa 1961 ja seuraavana kesänä, se sai aikaan vain vähän konkreettisia saavutuksia.
SNCC:n jäsenet Charles Sherrod ja Cordell Reagon matkustivat Albanyyn lokakuussa 1961 aktivoidakseen mustan yhteisön suoriin mielenosoituksiin institutionalisoitua erottelua vastaan. Albanyssa oli ennen SNCC:n saapumista ollut vain vähän mielenosoitustoimintaa; mustat asukkaat olivat kuitenkin tyytymättömiä siihen, että kaupunginhallitus ei ollut puuttunut yhteisön epäkohtiin. Sherrod ja Reagon vetivät Albanyn asukkaille väkivallattomia taktiikoita käsitteleviä työpajoja, joissa odotettiin yhteenottoa paikallisen poliisin kanssa. Marraskuun 1. päivänä tuli voimaan valtioiden välisen kauppakomission (ICC) kielto rotuerottelusta valtioiden välisissä bussiterminaaleissa. Tämä oli Sherrodille ja Reagonille otollinen hetki testata erottelupolitiikkaa kaupungissa. He lähettivät yhdeksän opiskelijaa Albany State Collegesta järjestämään istumalakon bussiterminaaliin. Vaikka ketään heistä ei pidätetty, heidän toimintansa innoitti paikallisia mustia johtajia perustamaan Albany Movementin. Paikallinen lääkäri William G. Anderson valittiin puheenjohtajaksi ja kiinteistönvälittäjä Slater King varapuheenjohtajaksi.
Albany Movement pyrki lopettamaan kaikenlaisen rotuerottelun kaupungissa keskittymällä aluksi matkustustilojen erottelun poistamiseen, pysyvän monirotuisen komitean perustamiseen keskustelemaan erottelun jatkamisesta ja erottelumielenosoituksissa vangittujen vapauttamiseen. Kampanjan aikana Albanyn mielenosoittajat käyttivät erilaisia väkivallattomia menetelmiä, kuten joukkomielenosoituksia, vankilatuomioita, istumalakoja, boikotteja ja oikeudenkäyntejä. Opiskelija-aktivistien lisäksi kampanjaan osallistui suuri määrä mustia aikuisia, joilla oli erilainen luokkatausta.
Albanyn poliisipäällikkö Laurie Pritchett vastasi mielenosoituksiin joukkopidätyksillä, mutta pidättäytyi julkisesta julmuudesta ja minimoi siten negatiivisen julkisuuden. Joulukuuhun 1961 mennessä yli 500 mielenosoittajaa oli vangittu, ja neuvottelut kaupungin virkamiesten kanssa alkoivat. Anderson pyysi Kingiä auttamaan liikkeen elvyttämisessä. Andersonin päätös ottaa King mukaan aiheutti jonkin verran tyrmistystä SNCC:n jäsenissä, jotka pelkäsivät, että Kingin johtamistyyli saisi paikalliset mustat ”tuntemaan, että vain tietty henkilö voisi pelastaa heidät, eivätkä he liikuisi omin voimin rasismia ja hyväksikäyttöä vastaan” (Forman, 255). King saapui kuitenkin Albanyyn 15. joulukuuta ja puhui joukkokokouksessa Shiloh Baptist Churchissa. Seuraavana päivänä King, Anderson ja Ralph Abernathy liittyivät satojen mustien kansalaisten joukkoon, jotka olivat telkien takana ilman lupaa järjestetystä kulkueesta ja jalkakäytävän tukkimisesta syytettynä. Kingin osallistuminen herätti valtakunnallista mediahuomiota ja innoitti lisää mustan yhteisön jäseniä liittymään mielenosoituksiin. Tämä ei jäänyt kaupunginhallitukselta huomaamatta, ja pian Kingin pidätyksen jälkeen kaupungin virkamiehet ja Albanyn liikkeen johtajat pääsivät sopimukseen: jos King lähtisi Albanysta, kaupunki noudattaisi ICC:n päätöstä ja vapauttaisi vangitut mielenosoittajat takuita vastaan. Kingin lähdettyä Albanysta kaupunki ei kuitenkaan noudattanut sopimusta, ja mielenosoitukset ja pidätykset jatkuivat vuonna 1962. Uutisraportit eri puolilla maata kuvailivat Albanyn alkuvaiheen mielenosoitusten epäonnistumista ”yhtenä Kingin uran tyrmäävimmistä tappioista” (Miller, ”A Loss for Dr. King”).
Kulissien takana kertomukset SCLC:n ja SNCC:n välisistä organisatorisista ristiriidoista saattoivat varjostaa kampanjaa. New York Timesin artikkelissa, joka julkaistiin kaksi päivää Kingin 16. joulukuuta tapahtuneen pidätyksen jälkeen, väitettiin, että SCLC:n ja SNCC:n kasvava välirikko johtui ”kilpailusta taloudellisesta tuesta ja vallasta” ja että tällä olisi ”merkittäviä vaikutuksia kansalaisoikeusliikkeen tulevaisuuteen koko etelässä” (Sitton, ”Negro Groups Split”). Toisessa artikkelissa todettiin, että Kingin järjestö ”ryhtyi toimenpiteisiin, jotka näyttivät osoittavan, että he olivat ottamassa hallintaa. Mutta opiskelijaryhmä siirtyi välittömästi vallatakseen takaisin hallitsevan asemansa näyttämöllä.” Artikkelissa ennustettiin ”traagisia seurauksia”, jos järjestöjen välisiä erimielisyyksiä ei saatu kuriin (Sitton, ”Rivalries Beset Integration Campaigns”). Vastatessaan raportteihin kampanjan hajanaisuudesta King sanoi: ”Jos oli viitteitä hajanaisuudesta, se johtui kommunikaatiokatkoksesta. Yhtenäisyys on paljon suurempi kuin väistämättömät erimielisyytemme” (”Dr. King Is Freed”).
Kuusi kuukautta myöhemmin, 10. heinäkuuta 1962, King ja Abernathy todettiin syyllisiksi siihen, että he olivat marssineet ilman lupaa joulukuussa 1961. Heidät määrättiin maksamaan 178 dollaria tai istumaan 45 päivää vankilassa. He päättivät istua vankeutta. Kuten King selitti vankilasta käsin: ”Päätimme istua aikamme, koska tunnemme niin syvästi niiden yli 700 muun ihmisen ahdingon puolesta, joita ei ole vielä tuomittu….. Olemme kokeneet rasistisen taktiikan, jolla liikettä yritetään saattaa vararikkoon etelässä liian suurilla takuilla ja pitkillä oikeustaisteluilla. Nyt on tullut aika, jolloin meidän on harjoitettava kansalaistottelemattomuutta todellisessa mielessä tai viivytettävä vapautemme työntämistä pitkillä vuosilla” (King, ”Viesti vankilasta”). Kun King oli vankilassa, mielenosoitukset ja pidätykset lisääntyivät. Heinäkuun 12. päivänä päällikkö Pritchett ilmoitti Kingille ja Abernathylle, että heidän takuunsa oli maksanut tuntematon musta mies, ja heidät vapautettiin. Vapautumisensa jälkeen Abernathy vitsaili: ”Minut on aikanaan heitetty ulos monista paikoista, mutta koskaan ennen minua ei ole heitetty ulos vankilasta” (Lewis, 159).
Kolmannen Albanyn pidätyksensä jälkeen 27. heinäkuuta King suostui 10. elokuuta 1962 lähtemään Albanysta ja ilmoittamaan mielenosoitusten lopettamisesta, mikä käytännössä lopetti hänen osallistumisensa Albany-liikkeeseen. Vaikka paikalliset ponnistelut jatkuivat yhdessä SNCC:n kanssa, liikkeen lopullisia tavoitteita ei ollut saavutettu Kingin lähtöön mennessä. King syytti epäonnistumisesta suurelta osin kampanjan laajaa soveltamisalaa ja totesi eräässä haastattelussa vuonna 1965: ”Virhe, jonka tein siellä, oli se, että protestoin segregaatiota vastaan yleisesti enkä sen yksittäistä ja erillistä puolta vastaan. Protestimme oli niin epämääräinen, ettemme saaneet mitään aikaan, ja ihmiset jäivät hyvin masentuneiksi ja epätoivoisiksi” (”Martin Luther King: A Candid Conversation”). Albanyssa saadut kokemukset auttoivat kuitenkin muokkaamaan alle vuotta myöhemmin järjestetyn Birminghamin kampanjan strategiaa. King myönsi, että ”se, mitä opimme Albanyn virheistämme, auttoi myöhempiä kampanjoitamme muissa kaupungeissa olemaan tehokkaampia” (”Martin Luther King: A Candid Conversation”).