Python confluent kafka客戶端配置kerberos認證流程詳解

kafka的認證方式一般有如下3種：

1.SASL/GSSAPI 從版本0.9.0.0開始支持

2.SASL/PLAIN 從版本0.10.0.0開始支持

3.SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 從版本0.10.2.0開始支持

其中第一種SASL/GSSAPI的認證就是kerberos認證，對于java來說有原生的支持，但是對于python來說配置稍微麻煩一些，下面說一下具體的配置過程，confluent kafka模塊底層依賴于librdkafka，這是使用c編寫的高性能的kafka客戶端庫，有好多語言的庫都是依賴于這個，所以GSSAPI接口的開啟也需要在librdkafka編譯的時候支持

librdkafka源碼：https://github.com/edenhill/librdkafka

編譯之前需要先安裝必要的開發包，否則相關的接口編譯不進去

首先是openssl庫，使用yum安裝為：yum -y install openssl openssl-devel，編譯openssl只能支持默認的PLAIN還有SCRAM這兩種機制，無法支持GSSAPI的機制，還需要編譯libsasl2依賴，yum安裝命令如下：

yum install cyrus-sasl-gssapi cyrus-sasl-devel

在ubuntu下使用命令：apt-get install libsasl2-modules-gssapi-mit libsasl2-dev安裝libsasl2開發包

然后確認一下是否有zlib庫，這個是方便對kafka消息壓縮使用的，一般都會存在，安裝命令：yum install zlib-devel，如果需要更高的性能可以手動編譯安裝zstd并且啟用壓縮，這里不再詳細敘述

上面的庫都安裝成功就可以開始編譯librdkafka源碼了，這里源碼包為：librdkafka-1.2.1.tar.gz，安裝命令如下：

# 解壓包tar -xvzf librdkafka-1.2.1.tar.gzcd librdkafka-1.2.1# 編譯源碼./configuremakemake install

上面注意一下在執行命令./configure之后，根據輸出確認libssl以及libsasl2是否被開啟，如下：

這里libssl以及libsasl2都顯示ok說明是可以的，現在SSL和SASL SCRAM以及SASL GSSAPI都已經支持了，執行configure階段沒指定prefix則默認安裝位置為/usr/local，動態庫位置就為：/usr/local/lib，需要將這個目錄添加到動態庫連接列表中，比如加到/etc/ld.so.conf，保存后執行ldconfig生效

最后可以編譯和安裝python的confluent kafka模塊，這里安裝的版本是1.2.0，安裝之后可以運行下面的代碼測試：

#!/usr/bin/env python3# coding=utf-8from confluent_kafka import Producerdef delivery_report(err, msg): ''' Called once for each message produced to indicate delivery result. Triggered by poll() or flush(). ''' if err is not None: print(’Message delivery failed: {}’.format(err)) else: print(’Message delivered to {} [{}]’.format(msg.topic(), msg.partition()))if __name__ == ’__main__’: producer_conf = { 'bootstrap.servers': ’192.168.0.3:9092,192.168.0.4:9092,192.168.0.5:9092’, 'security.protocol': ’sasl_plaintext’, ’sasl.kerberos.service.name’: ’kafka’, ’sasl.kerberos.keytab’: ’/opt/user.keytab’, ’sasl.kerberos.principal’: ’kafkauser’, } p = Producer(producer_conf) p.poll(0) p.produce(’testTopic’, ’confluent kafka test’.encode(’utf-8’), callback=delivery_report) p.flush() print(’done’)

如果生產消息正常就配置成功了，使用GSSAPI只需要配置security.protocol以及keytab的路徑即可，其他的認證參數比如用戶名和密碼在不同的認證機制下配置，更多的配置參數參考文檔：

https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md

librdkafka SASL認證的詳細配置流程參考：https://github.com/edenhill/librdkafka/wiki/Using-SASL-with-librdkafka

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持好吧啦網。