librdkafka编译及简单使用过程简介

librdkafka 使用了 C++11，使用 VS2010 无法编译，需要使用更高版本的 VS 才能编译，我这里使用的是 VS2017。

1、编译版本

编译环境：windows VS2017
openssl 版本：openssl-1.0.2t(如果不想编译，可下载 Win32OpenSSL-1_0_2t.exe安装，同时编译库文件路径不使用 …\lib\VC\static，改为…\lib\VC即可)
librdkafka 版本：librdkafka-1.2.1(下载的是releases版本，相对提交版本较稳定，不建议下载最新版本)

2、编译openssl

1）安装 ActivePerl 初始化的时候,需要用到 perl 解释器
下载一个安装包，然后一直下一步就行，没有特殊处理；
2）打开 VS2017 开发命令提示符，进入 openssl 解压目录
3）配置 config 脚本
在提示符中执行下例语句：

#  编译release32位：
perl Configure VC-WIN32 no-asm --prefix=D:\openssl_win32

#  编译release64位：
perl Configure VC-WIN64A

#  编译debug32位：
perl Configure debug-VC-WIN32

#  编译debug64位：
perl Configure debug-VC-WIN64A
1
2
3
4
5
6
7
8
9
10
11

我只使用过 VC-WIN64A 和 VC-WIN32 ，–prefix 是指定头文件、库文件路径生成路径，no-asm 使用是因为编译时报错，错误如下：

tmp32dll\sha1-586.asm(1432) : error A2070:invalid instruction operands
tmp32dll\sha1-586.asm(1576) : error A2070:invalid instruction operands
NMAKE : fatal error U1077: “"E:\Visuol Studio 2012\VC\BIN\cl.EXE"”: 返回代码“0x1”
1
2
3

还有另外一个错误需要禁用IPV6，这个错误我没有遇到，不过还是记录一下：

#  使用
perl Configure VC-WIN32 -DOPENSSL_USE_IPV6=0
#  错误
tmp32dll\sha1-586.asm(1432) : error A2070:invalid instruction operands
tmp32dll\sha1-586.asm(1576) : error A2070:invalid instruction operandsN
MAKE : fatal error U1077: “"E:\Visuol Studio 2012\VC\BIN\cl.EXE"”: 返回代码“0x2”
1
2
3
4
5
6

4）创建 makefile 文件
在提示符中执行下例语句：

#  创建32位makefile文件
ms\do_ms.bat
#  创建64位makefile文件
ms\do_win64a.ba
1
2
3
4

5）执行编译命令
在编译过程中，不论是32位还是64位编译，编译动态库都报错 (LIBEAY32.def : error LNK2001: 无法解析的外部符号 OPENSSL_rdtsc)，编译静态库可以成功
（1）、编译动态库：
在提示符中执行下例语句：

#  编译dll
nmake -f ms\ntdll.mak
#  测试dll
nmake -f ms\ntdll.mak test
1
2
3
4

（2）、编译静态库：
在提示符中执行下例语句：

#  编译lib
nmake -f ms\nt.mak 
#  测试lib
nmake -f ms\nt.mak test
1
2
3
4

6）库安装

#  生成lib库
nmake -f ms\nt.mak install
#  测试dll
nmake -f ms\ntdll.mak install
1
2
3
4

最终会在指定路径，生成如下文件：

7）清理编译内容

nmake -f ms\nt.mak clean
nmake -f ms\ntdll.mak clean
1
2

如果要重新编译，只需执行清理指令，再按1-6步骤重新执行即可。

3、编译 librdkafka

1）错误修改
1、若直接运行，会报以下错误

1、Error This project references NuGet package(s) that are missing on this computer. Use NuGet Package Restore to download them. For more information, see http://go.microsoft.com/fwlink/?LinkID=322105.
1

修改方法：
找到 项目文件.csproj，打开后，移除下面的内容

<Target Name="EnsureNuGetPackageBuildImports" BeforeTargets="PrepareForBuild">
  <PropertyGroup>
    <ErrorText>This project references NuGet package(s) that are missing on this computer. Enable NuGet Package Restore to download them.  For more information, see http://go.microsoft.com/fwlink/?LinkID=322105. The missing file is {
   0}.</ErrorText>
  </PropertyGroup>
  <Error Condition="!Exists('$(SolutionDir)\.nuget\NuGet.targets')" Text="$([System.String]::Format('$(ErrorText)', '$(SolutionDir)\.nuget\NuGet.targets'))" />
</Target>
1
2
3
4
5
6
7

2、未包含 zlib.h 文件
这个是应该 NuGet 管理包的问题，我也不是很熟悉，我找到的解决方法是从 win32/packages/ 文件中找到 zlib 库文件及头文件，添加到附加库目录中。
2）添加库文件及头文件



3）编译 librdkafkacpp
若库文件编译只编译 librdkafka，在后续使用代码编译报错：

librdkafka.dll : fatal error LNK1107: 文件无效或损坏: 无法在 0x3A8 处读取
1

后续代码中的库应使用 librdkafkacpp 编译出来的 librdkafka.dll 与 librdkafkacpp.dll 动态库。

4、librdkafka的使用

编译完的 librdkafka 库还是无法在 VS2018 中使用，可以编译通过，但是运行报错。
1）创建项目，添加库文件
头文件：头文件：\src-cpp\rdkafkacpp.h \src\rdkafka.h ;
库文件：配置 librdkafka.dll 与 librdkafkacpp.dll 动态库（debug 和 release 路径中 kafka 库文件还需要 libzstd.dll 和 zlib.dll）;
2、生产者代码
KafkaProducerClient.h

#ifndef KAFKAPRODUCERCLIENT_H
#define KAFKAPRODUCERCLIENT_H
#include <iostream>
#include <string>
#include <cstdlib>
#include <cstdio>
#include <list>
#include <kafka/rdkafkacpp.h>
#include <vector>
#include <fstream>

using namespace std;
using std::string;
using std::list;
using std::vector;
using std::fstream;

class KafkaProducerDeliveryReportCallBack : public RdKafka::DeliveryReportCb {
   
public:
	void dr_cb(RdKafka::Message &message) {
   
		std::cout << "Message delivery for (" << message.len() << " bytes): " <<
			message.errstr() << std::endl;
		if (message.key())
			std::cout << "Key: " << *(message.key()) << ";" << std::endl;
	}
};
class KafkaProducerEventCallBack : public RdKafka::EventCb {
   
public:
	void event_cb(RdKafka::Event &event) {
   
		switch 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33