sviluppo-web-qa.it

Alternative a Splunk?

Sono abbastanza colpito da Splunk , in particolare la versione 4. Grafici graziosi, avvisi (solo Enterprise) e ricerca veloce, accurata. È un ottimo prodotto.

Tuttavia, il costo è troppo alto per essere considerato per l'uso completo della produzione per la nostra azienda. Tutto ciò di cui abbiamo davvero bisogno è di essere in grado di indicizzare diversi registri in un posto centrale e avere una ricerca ragionevole su questo. Anche avere avvisi basati su una ricerca salvata è davvero bello. Non andiamo davvero oltre.

In effetti, il nostro più grande utilizzo è stato nella distribuzione di nuove applicazioni. Tutto viene registrato tramite log4net nel registro eventi su Windows o in un file di testo su Linux. Splunk semplifica la ricerca rapida tra quelli per assicurarsi che tutte le parti dell'app funzionino correttamente, il che ci ha permesso di risparmiare un sacco di tempo rispetto alla ricerca di singole fonti di registrazione.

Quali alternative esistono in questo mercato? Ho l'impressione che il prezzo di Splunk sia così alto perché hanno di gran lunga il miglior prodotto e lo sanno. Vogliamo che il server funzioni su Windows.

Sarei aperto a un modello diviso, utilizzando un prodotto per i registri generali (raccogli tramite syslog/Snare) e un prodotto dedicato per le nostre app personalizzate (come Log4Net Dashboard ).

Utilizzando un semplice server syslog come Kiwi, inviato a SQL Server (forse con full-text abilitato) funzionerebbe?

Spero che il costo dovrebbe essere ben al di sotto di 5 cifre, USD. (E sì, lo so, siamo economici. Siamo una startup con pochi soldi e BizSpark si occupa di tutte le nostre licenze MS.)

Modifica: dovrei aggiungere, abbiamo circa 10 server fisici, 20 VM e un paio di firewall e switch. Il 90% è Windows.

76
MichaelGG

Nota: tutto ciò riguarda Linux e software gratuito , poiché è quello che utilizzo principalmente, ma dovresti stare bene con un client syslog su Windows per inviare i log a un server syslog di Linux.

Registrazione su un server SQL: Con solo ~ 30 macchine, dovresti stare bene con qualsiasi syslog centralizzato e un back-end SQL. Uso syslog-ng e MySQL su Linux proprio per questo.

I frontend graziosi per la rappresentazione grafica sono il problema principale - Sembra che ci siano molti front-end hackerati che cattureranno oggetti dai registri e mostra quanti hit, avvisi ecc. ma non ho trovato nulla integrato e pulito. Certo, questa è la cosa principale che stai cercando ... (Se trovo qualcosa di buono, aggiornerò questa sezione!)

Avviso : Uso SEC su un server Linux per trovare cose brutte che accadono in i registri e avvisarmi tramite vari metodi. È incredibilmente flessibile e non così scattante come Splunk. C'è n bel tutorial qui che guida attraverso molte delle possibili funzionalità.

Uso anche Nagios per i grafici di varie statistiche e alcuni avvisi che non ottengo dai registri (come quando i servizi sono inattivi, ecc.). Questo può essere facilmente personalizzato per aggiungere grafici di tutto ciò che ti piace. Ho aggiunto grafici di elementi come il numero di hit effettuati su un server http, facendo in modo che l'agente usi il plug-in check_logfiles per contare il numero di hit nei log (salva la posizione in cui si alza a per ogni periodo di controllo).

Complessivamente, dipende da quanto ti costerà il tempo per configurarlo , poiché ci sono molte opzioni che puoi usare ma non sono così integrate come Splunk e probabilmente richiederà maggiori sforzi per ottenere ciò che desideri. I grafici Nagios sono semplici da configurare ma non ti forniscono dati storici prima di aggiungere il grafico, mentre con Splunk (e presumibilmente altri front-end) puoi guardare indietro ai registri passati e tracciare grafici di cose che hai appena pensato di guardare da loro.

Si noti inoltre che il formato e l'indicizzazione del database SQL avranno un effetto enorme sulla velocità delle query, quindi la tua idea di indicizzazione full-text aumenterà enormemente a la velocità delle ricerche. Non sono sicuro che MySQL o PostgreSQL faranno qualcosa di simile.

Modifica: MySQL eseguirà l'indicizzazione full-text, ma solo sulle tabelle MyISAM prima di MySQL 5.6. In 5.6 è stato aggiunto il supporto per InnoDB.

Modifica: Postgresql può fare naturalmente una ricerca a testo integrale: http://www.postgresql.org/docs/9.0/static/textsearch.html

30
David Gardner

Più mirato a * nix di windows, ma octopussy supporta windows e sembra mirare allo stesso tipo di cose come splunk.

7
Cian

Per il syslogging centralizzato con molte fantastiche funzionalità non posso fare a meno di raccomandare rsyslog abbastanza. È un server syslog open source che può funzionare felicemente come sostituto drop-in per il normale syslogd che conosci e ami. Ora è il demone syslog di scelta per Ubuntu e penso che Red Hat e Fedora potrebbero anche seguire questa strada. Ho trovato molto più facile iniziare e fare quello che vuoi che sia syslog-ng.

Attualmente nel nostro negozio abbiamo due server rsyslog centrali (uno in ciascun sito) che riceve registri per centinaia di server. Ho avvisi automatici via e-mail ogni volta che qualcosa in syslog attiva un avviso o superiore (con alcune modifiche ovviamente, alcune app sono un po 'allarmanti). Probabilmente potrei fare un po 'più di intelligenza come farlo mandare cose ai nagios o cose del genere, ma per ora ci copre abbastanza per le nostre esigenze.

Tutto questo va anche in un database mysql (c'è anche il supporto per Oracle o postgresql se è così che esegui il roll).

C'è anche un frontend web e un windows agent per l'invio dei registri Eventlog anche al server rsyslog. Il frontend web ovviamente non è così fluido come splunk ma ottiene il lavoro fatto per $ 0.

6
Dave Wongillies

Sono nel mezzo di provare diverse soluzioni di monitoraggio, ma voglio monitorare principalmente Windows. La maggior parte dei sistemi è orientata al monitoraggio SNMP che riesce a estrarre una notevole quantità di informazioni senza agenti.

Questi sono alcuni dei sistemi che ho provato finora:

Nagios - Open source. Un maiale da configurare ma molto apprezzato e sembra molto flessibile. Sembra essere essenzialmente un registratore di contatore e non consente l'esecuzione di script remoti e quindi non può essere utilizzato per rilevare problemi di configurazione, ala MS System Center o Kaseya. Senza agente ma è sostanzialmente inutile senza lo strumento NSclient installato su ciascun client.

Cactus - Strumento grafico carino e semplice basato sull'estrazione di statistiche snmp. Senza agenti.

OpsView: basato su Nagios ma più facile da configurare e con un front-end migliore.

HypericHQ - Facile da installare e utilizzare in Windows. La versione base è gratuita e fa molto. Esiste un'azienda HypericHQ commerciale. L'agente deve essere installato su ciascun client.

Zabbix - Un altro strumento di monitoraggio piacevole. È più facile da usare rispetto ai nagios. Ha un agente che puoi installare su Windows e macchine client. L'ho esplorato solo un po 'finora.

Zenoss - Open source. Sono rimasto molto colpito da quanto Zenoss sia professionale. È un monitor basato su SNMP e ha un sacco di estensioni per consentire il monitoraggio di proliferatori HP, servizi Windows, MS SQL Server, MySQL. Tutte le estensioni funzionano tramite SNMP quindi non è necessario installare nulla sui computer client. Non ho ancora esplorato tutto e sembra che ci siano molte funzionalità che devo ancora sfruttare. È basato su Zope, quindi a meno che tu non sia al passo con le installazioni di Zope, ti consiglio di scaricare il pre-preparato VM - funziona come un sogno immediatamente fuori dalla scatola.

Sul fronte commerciale potresti dare un'occhiata ad alcuni strumenti:

Kaseya - costa circa 6k all'anno per 250 nodi, se ricordo bene, ma è uno strumento eccezionale e ha una comunità di utenti molto attiva. Si rivolge al mercato MSP e consente il monitoraggio di più sistemi aziendali. Può essere utilizzato internamente senza problemi.

GFI Hounddog - più semplice di Kaseya ma al momento molto economico. Sicuramente vale la pena dare un'occhiata.

Esistono numerose soluzioni vendute come sistemi MSP ma che sono essenzialmente monitor + amministrazione remota combinati.

Ian

6
Ian Murphy

Sono d'accordo che Splunk è fantastico. Per ambienti piccoli, prevalentemente Linux, potresti voler guardare qualcosa come epylog .

L'abbiamo usato in uno dei posti in cui lavoravo ed è stato fantastico per quello che volevamo.

Non sono sicuro di come gestisca i messaggi syslog di Windows che vengono inviati a un raccoglitore syslog di Linux, ma potrebbe valere la pena.

2
warren

Dai un'occhiata a http://www.codeplex.com/polymon

È open source, utilizza SQL Server al backend e ha un'interfaccia utente elegante

2
Khurram Aziz

Mi sto solo collegando alla mia risposta dove:

Splunk è incredibilmente costoso: quali sono le alternative?

Modifica (nuovi progetti):

I progetti LogStash e Graylog2 sembrano molto interessanti

Ecco un paio di video: nodue .

2
Not Now

Qualcosa come GFI EventsManager potrebbe fare il trucco per circa $ 4k.

  • Analisi dei registri eventi, inclusi trap SNMP, registri eventi Windows, registri W3C e Syslog
  • Avvisi in tempo reale, avvisi di trap SNMPv2 inclusi
  • Visualizza i rapporti sulle informazioni chiave sulla sicurezza in corso ora
  • Registrazione degli eventi centralizzata
  • Rimuovi "rumori" o eventi insignificanti che costituiscono un ampio rapporto di tutti gli eventi di sicurezza
  • Monitoraggio e allerta in tempo reale 24 x 7 x 365 giorni
  • Monitora graficamente lo stato di GFI EventsManager e della tua rete tramite il monitor di stato integrato
  • Supporto per ambienti virtuali
1
SteveBurkett

Se stai cercando un sostituto di SysLog, potresti anche prendere in considerazione un sostituto commerciale di syslog/rsyslog come LogLogic, http://loglogic.com . Noi (è il luogo in cui lavoro) disponiamo di un set completo di funzionalità di registrazione, archiviazione e reporting. In sostanza, è la capacità di raccogliere 100.000 messaggi al secondo, ferirli e indicizzarli in modo da poter effettuare ricerche.

1
BillRoth

Hai provato php-syslog-ng? http://code.google.com/p/php-syslog-ng/

0
Thomas Gell

Se stai cercando un'alternativa molto più conveniente a Splunk, prova LogZilla ( http://www.logzilla.pro ). Ridimensiona anche meglio di Splunk (puoi cercare oltre 300 m di log in circa 1-2 secondi) ed è facilmente 1/10 del costo. Hanno una demo in esecuzione su http://demo.logzilla.pro

0
Clayton Dukes

Ho pubblicato il thread dupe: Splunk è incredibilmente costoso: quali sono le alternative?

xpolog e tutte le soluzioni commerciali serie sono GRANDI $ (anche se meno di splunk, la maggior parte sono facilmente 5 cifre!)

Sooooo, quello che finalmente abbiamo fatto (perché splunk era troppo $):

1) Volevamo un semplice syslog per la pipeline sql db

2) Abbiamo provato il kiwi syslog. Ha funzionato alla grande per una settimana, ha smesso di funzionare e il supporto del kiwi non è stato in grado di risolverlo. Quindi abbiamo lasciato cadere il kiwi

3) Abbiamo provato winsyslog. Un vecchio cane di un'app, non volevamo impararla.

4) Abbiamo usato questa app .net gratuita: http://www.aonaware.com/syslog.htm

Ecco. Abbiamo messaggi syslog nel nostro db.

Noi siamo molto felici. $ 0 spesi, alcune ore, ma non troppo.

Stiamo usando Splunk qui, e sono un po 'scioccato dal prezzo che ti hanno detto. La suddivisione di base che ci è stata data è arrivata da qualche parte intorno a $ 1k USA per 1 GB di dati. È costoso, ma super potente e molto veloce da sviluppare. A seconda delle tue fonti di dati e di cosa vuoi fare con loro, alcuni python e Perl potrebbero darti molti dati simili. La grande differenza sarà il tempo e imparare a maneggiare davvero il lingua per l'elaborazione del testo. Inoltre, non saresti in grado di ottenere informazioni IP in tempo reale (cose come syslog), anche se puoi risolverlo ottenendo un syslogger e inviando le informazioni in un file di testo. Mi dispiace non poterti indirizzare verso nessun soluzione specifica; per cosa non possiamo usare splunk, usiamo gli script python, Perl e bash.

0
Matthew

Potresti provare logscape da liquidlabs - molto simile a splunk ma ha anche alcune caratteristiche diverse .... http://www.liquidlabs-cloud.com/products/logscape.html

0
james

Ho fatto la cosa del backend SQL in un precedente lavoro (era MySQL tra l'altro), completo di script, Drupal con custom PHP, i lavori .

Onestamente, ci sono volute troppe ore-uomo e non era ancora Splunk.

Attualmente sto testando invece Splunk. Sì, non è gratuito, ma guardando il quadro generale potrebbe effettivamente essere più economico.

0
Florin Andrei

ELSA - Ricerca e archiviazione dei registri aziendali

Caratteristiche principali:


  • Ricerca full-text su qualsiasi parola in un messaggio o in un campo analizzato.
  • Raggruppa per qualsiasi campo e produce report basati sui risultati.
  • Pianifica le ricerche.
  • Avviso sui risultati della ricerca nei nuovi registri.
  • Salva ricerche, invia risultati di ricerca salvati via e-mail.
  • Crea ticket incidenti in base ai risultati della ricerca (con plug-in).
  • Sistema di plugin completo per risultati.
  • Esporta i risultati come permalink o in Excel, PDF, CSV e HTML.
  • Integrazione LDAP completa per le autorizzazioni.
  • Statistiche per query per utente e dimensioni e conteggio del registro.
  • Architettura completamente distribuita, in grado di gestire n nodi con tutte le query eseguite in parallelo.
  • Archivio compresso con un rapporto migliore di 10: 1.

Dettagli sulle prestazioni:


Per specificare un sistema, in ordine di importanza: dimensioni del disco, RAM, velocità del disco, numero di CPU. Il principale fattore di prestazione è l'indicizzatore e il daemon di ricerca di Sphinx, quindi fai riferimento a sphinxsearch.com per i documenti. Le mie statistiche fornite sono tratte da sistemi di grandi dimensioni (16 CPU, 144 GB RAM, 12 TB HD), ma otterrai le stesse prestazioni su un sistema con 4 CPU, 8 GB RAM e qualsiasi dimensioni HD man mano che le cose si ridimensionano in modo lineare. Il sistema è stato inizialmente eseguito su blade IBM con 4 GB RAM e slow SAN unità ed eseguito alla stessa velocità, ma 4 GB lo sta tagliando un po 'vicino.


Dettagli sulle prestazioni e elenco delle caratteristiche principali, oltre a una descrizione dell'architettura: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Codice: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Dettagli relativi al progetto: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

0
elhoim