ELK brukes til mottak, prosessering, lagring, analyse og visualisering av loggdata. Med loggdata menes hendelsesbeskrivelseer som best?r av tekst og tidspunkt. Tekst kan v?re strukturert i form av JSON-data, eller helt/delvis ustrukturert. Loggdata sendes fortrinnsvis ved ? f?lge loggfiler (Linux) eller eventlog (Windows) p? maskiner , men det er ogs? mulig ? sende hendelser direkte fra applikasjoner.
Beskrivelse
Tjenesten brukes i f?rste omgang som st?tteverkt?y til drift av infrastruktur og applikasjoner. Anledning til ? benytte tjenesten, samt regler for hvordan tjenesten skal brukes er styrt av ?Prosedyre for behandling av logger fra systemer, tjenester og applikasjoner?
Dersom dere er i tvil om dere kan bruke tjenesten, send likevel en henvendelse til ?USITs gruppe for driftsst?tte? for en avklaring og mulig vei videre.
Hjelp og veiledning
Dersom man mener at man er klassifisert som innenfor bruksomr?det ihht. policy er f?rste skritt for ? ta i bruk tjenesten er ? sende en anmodning til ?USITs gruppe for driftsst?tte?. Da vil det bli foretatt en vurdering om bruksomr?det faller inn under det som er godkjent ihht. policy .
Dersom vi er i tvil om bruken faller innenfor bruksomr?det, vil man bli henvist til it-sikkerhet ved USIT som foretar en vurdering av hvorvidt brukergruppen tillates ? benytte tjenesten og regler for bruken. Dersom man selv vurderer at man havner utenfor det som er tillatt i dagens policy er det like greit ? kontakte it-sikkerhet@usit.uio.no selv for en avklaring.
Dersom det faller innenfor bruksomr?det blir det opprettet tilgang for dataeier (?logowner?) og man f?r en egen Kibana-instans p? http://?logowner?.logs.uio.no samt en logmottaker som data sendes til.
I hvert enkelt tilfelle startes det en dialog for ? finne beste m?te ? sende inn loggdata p?. Dette er basert p? tilgjengelige mekanismer som er implementert i samband med behovet til brukeren. Tidsperspektivet for ? ta i bruk tjenesten avhenger av brukerens behov for skredders?m. Dersom man kan bruke de standardiserte mekanismene er det trivielt og raskt ? komme igang.
St?ttede standardiserte logmottakere:
- TCP (med ssl)
- Beats (med ssl)
- Syslog (kun intern bruk)
Hver data-eier f?r automatisk en kvote p? 300GB med rask lagring (SSD-disk). Alle data er replikert for redundans , s? den virkelig ressursbruken for lagring av 300GB er 2*300GB. Kvoten styrer hvor mye data en dataeier kan ha liggende lagret i l?sningen til enhver tid. N?r kvoten overskrides justeres ?retention?-tiden automatisk for ? komme ned under kvotebegrensningen. Justeringer av ?retention? skjer p? ukesbasis, da dette reflekterer intervallet som alle indekser i Elasticsearch opprettes med.
I utgangspunktet justeres ?retention? flatt over en dataeiers applikasjoner, men det er mulig ? differensiere ?retention? mellom applikasjoner innenfor samme ?logowner?. En applikasjon er i denne sammenheng sub-inndeling av en dataeiers indekser i Elasticsearch. Kvote-unntak s?kes om til ?USITs gruppe for driftsst?tte?. Det samme gjelder bestilling av differensiering av ?retention? for indekser.
Det er ingen definert grense for ressursbruk i forbindelse med indeksering dokumenter eller sp?rringer, men ressursbruken overv?kes sentralt og vi vil ta kontakt for dialog dersom vi ser brukere som belaster systemet unormalt h?yt.
Pekere til brukerdokumentasjon: