I dag er det ingen fastboende mennesker på yttersida av Lofotodden. Yttersida vender ut mot Nordishavet, hvor den tunge, våte havskodden og de harde stormene inntreffer. En gang eksisterte fiskeværene Helle og Refsvika. Disse samfunnene var bygd opp av gårder som lå samlet i bukter og viker. De lå både ensomt og øde til – uten noen veiforbindelse med andre samfunn. For å komme dit på vinterstid måtte man reise med båt. Farvannet var urent, og i dårlig vær krevde innseilingen til fiskeværene god lokalkunnskap og sjødyktige folk. Det fantes ingen utbygde havner.
Opp igjennom tiden har folket på yttersida vært selveiere. Det vil si at de ikke var underlagt væreiere, slik andre fiskere i Lofoten var. Væreierne var oppsynsmenn for alt fiske, og de var gjestgivere, handelsmenn og fiskeoppkjøpere for hvert sitt vær. Alle fiskeværene på østsiden av Moskenes, kalt innersida, var eid av væreiere. Helle og Refsvika var utenfor interesseområdet for væreieretableringen – selv om Ellingsen etablerte et fiskemottak på Helle og hadde en viss innflytelse.