Článek přečtěte do 3 min.

Jedním z řešení, které mnoho zákazníků hledá, je přesunout data protokolování Oracle Cloud Infrastructure (OCI) do nástrojů třetích stran pro získání užitečných přehledů. Pro různé provozní činnosti můžete mít nástroje třetích stran.

V tomto článku hovoříme o integraci OCI s Splunk, populární platformou pro sledování a zabezpečení pomocí OCI Streaming a Kafka Connect.

Výhody tohoto řešení

Pomocí Oracle Streaming, Kafka Connect a Splunk získáte následující výhody:

  • Škálovatelnost: Celková architektura je vysoce škálovatelná a na základě růstu objemu dat můžete rychle škálovat.
  • Použitelné statistiky protokolování: Získáte statistiky protokolů o problémech a trendech téměř v reálném čase, což pomáhá přijímat rychlá rozhodnutí.
  • Vysoce konfigurovatelný: Vysoce konfigurovatelný, takže můžete tento kanál vyladit tak, aby vyhovoval potřebám vaší organizace.
  • Není vyžadováno žádné kódování: Toto řešení nevyžaduje žádné změny kódu.

Předpoklady

Toto řešení vyžaduje následující závislosti:

Architektura

OCI Streaming má vestavěnou podporu pro Kafka connect pomocí Connect Harness. Rámec Kafka Connect umožňuje přesun dat z různých systémů do témat Kafka nebo naopak. Kafka Connect používá sink a source konektory k přesunu dat z témat Kafka nebo odesílání dat do témat Kafka.

Pro přesun dat z Oracle Streaming do Splunk používáme plugin Splunk Connect for Kafka. Tento sink konektor nám umožňuje připojit se k tématu Kafka (v tomto případě Oracle Streaming) a streamovat data do kolektoru událostí http společnosti Splunk.

Tato architektura také používá OCI Service Connector Hub k přesunu protokolovacích dat z služby protokolování OCI< /span>.službu OCI Streaming na

Grafika znázorňující architekturu pro nasazení Splunk Connect pro Kafka pomocí OCI Streaming.

Nastavení OCI Service Connector Hub

Pomocí Service Connector Hub můžeme přesunout data protokolování do Streamingu, kde je protokolování zdrojem a Oracle Streaming cílem. Další podrobnosti naleznete v části Vytvoření konektoru se zdrojem protokolování.

Vytvoření konfigurace Kafka Connect

Chcete-li vytvořit konfiguraci Kafka Connect, přečtěte si Správa konfigurací Kafka Connect.

Po vytvoření použijete názvy témat konfigurace, stavu a úložiště. Uložte si je, protože je používáme při konfiguraci Splunk connect pro Kafka.

Nastavení Splunk Connect pro Kafka

Postupujte podle tohoto průvodce pro vývojáře a nainstalujte Splunk Connect for Kafka. Další informace naleznete v části Instalace a správa Splunk Connect pro Kafka. Aktualizujte o následující vlastnosti, aby fungovaly se streamováním OCI:

<font><code>#OCI Settings for OCI Stream, for this example we are using phoneix region
bootstrap.servers=cell-1.streaming.us-phoenix-1.oci.oraclecloud.com:9092
group.id=kafka-connect-splunk-hec-sink
config.storage.topic=<connect_configuration_ocid>-config
offset.storage.topic=<connect_configuration_ocid>-offset
status.storage.topic=<connect_configuration_ocid>-status

security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<tenancy>/<user>/<stream_pool_ocid>" password="<auth_code>";
producer.buffer.memory=4096
producer.batch.size=2048
producer.sasl.mechanism=PLAIN
producer.security.protocol=SASL_SSL
producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<tenancy>/<user>/<stream_pool_ocid>" password="<auth_code>";

consumer.sasl.mechanism=PLAIN
consumer.security.protocol=SASL_SSL
consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<tenancy>/<user>/<stream_pool_ocid>" password="<auth_code>";
access.control.allow.origin=*
access.control.allow.methods=GET,OPTIONS,HEAD,POST,PUT,DELETE</code></font>

Dále můžete spustit příkaz.$KAFKA_HOME/bin/connect-distributed.sh $KAFKA_HOME/config/connect-distributed.properties, spusťte Kafka Connect a vytvořte dřez Splunk konektor pomocí REST API. Název tématu je název proudu OCI.

<font>  <code>curl localhost:8083/connectors -X POST -H "Content-Type: application/json" -d '{
    "name": "kafka-connect-splunk",
    "config": {
      "connector.class": "com.splunk.kafka.connect.SplunkSinkConnector",
      "tasks.max": "3",
      "splunk.indexes": "<SPLUNK_INDEXES>",
      "topics":"<YOUR_TOPIC>",
      "splunk.hec.uri": "<SPLUNK_HEC_URI:SPLUNK_HEC_PORT>",
      "splunk.hec.token": "<YOUR_TOKEN>"
    }
  }'</code></font>

Po vytvoření konektoru můžete zkontrolovat data protokolu ve Splunk vyhledáním indexu (splunk.indexes v konfiguraci konektoru), který jste nakonfigurovali při vytváření konektoru. Tato data odpovídají protokolům OCI. Zkontrolujte následující snímek:

Snímek obrazovky příkladu obrázku Splunk.

Závěr

Nastavení datového kanálu protokolů pomocí Oracle Streaming, Kafka Connect a Splunk je škálovatelné, konfigurovatelné a spolehlivé řešení pro přehledy protokolování téměř v reálném čase. Ekosystém Kafka Connect má mnoho konektorů, které můžete použít k budování datových kanálů. Pro aktivaci této funkce poskytuje Oracle Cloud Infrastructure Streaming platformu pro běh vašeho běhového prostředí Kafka Connect.

Vyzkoušejte řešení sami! Zaregistrujte se do Oracle Cloud Free Tier nebo nás kontaktujte.

Zdroj: Oracle