当前位置:   article > 正文

技术分享 | OpenShift网络之SDN_重启openshift sdn

重启openshift sdn

在红帽主导的容器平台OpenShift中,默认使用了原生的SDN网络解决方案,这是专门为OpenShift开发的一套符合CNI标准的SDN Plugin,并采用了当下流行的OVS作为虚拟交换机。

 

Overview

 

一个基本的SDN系统一般包含管理面、控制面和数据(转发)面三部分,通俗来说,管理面的对外表现就是北向接口,拿Openshift中的SDN来说,它的北向接口就是CNI了,kubelet收到用户创建POD的请求后,会调用CRI接口去实现POD创建相关的工作,另一块就是调用CNI去完成网络相关的工作,当然这里的CNI主要分成两块:

 

一部分是二进制文件,也就是kubelet直接执行该二进制文件并向其传递pod id、namespace等参数;

另一部分就是CNI Server,接收CNI Client的请求,并调用SDN Controller去完成OVS Bridge端口、流表相关的配置,为POD打通网络。

 

控制面一个主要载体就是南向接口了,当然管理面的一些具体实现也有可能通过南向接口实现(这里不做重点分析),对于一个DC领域SDN控制器而言,其南向协议占了很大一部分的,说道南向协议很多人可能想到是Openflow、netconf、XMPP、P4 runtime……,不过可能要让大家失望了,这里并没采用上面说的那些高大上的协议,有的只是CLI、ovs-vsctl、ovs-ofctl、iptables等我们以前常用的命令而已,通过对这些常用命令的函数化封装、调用就组成了今天要用到的SDN南向协议。

 

可能很多人要在心里面犯嘀咕了,仅仅通过几条命令的调用能不能胜任这份重任呢?答案当然是肯定的,没有一点问题,大名鼎鼎的OpenStack中的Neutron也是这么干的,Neutron中的默认方式也是直接调用的命令来实现对OVS的控制,所以放心用吧。

 

我们这里重点介绍一下该SDN方案的数据面实现模型,当SDN Controller收到北向CNI Server的网络请求后,是如何控制OVS进行流表的增删改查、以及iptables相关的操作。

 

数据面就是指各种转发设备了,包括传统的硬件厂家个各种路由器、交换机、防火墙、负载均衡等,也包括各种纯软件实现的是Vswitch、Vrouter,其中OVS作为其中的典型代表,借着OpenStack等云计算技术的发展着实火了一把,在Openshift的SDN方案中OVS作为数据面的转发载体,起着至关重要的作用。

 

北向接口

 

在一个基本的SDN系统中北向接口作为直接面向用户或者应用部分,一个主要的功能就是先理解用户的“语言”,这里的语言就是是CNI了,CNI也是容器平台一个重要的网络接口,基本动作包含:添加网络、删除网络、添加网络列表、删除网络列表。

 

在Openshift的SDN中,首先实现了一个CNI的client,编译后会产生一个二进制可执行文件,安装过程中一般会将该文件放置在/opt/cni/bin目录下,供kubelet调用。

在pkg/network/sdn-cni-plugin/openshift-sdn.go#line57文件中

 

// Send a CNI request to  the CNI server via JSON + HTTP over a root-owned unix socket,

// and return the result

func (p *cniPlugin) doCNI(url string, req  *cniserver.CNIRequest) ([]byte, error) {

    data, err := json.Marshal(req)

    if err != nil {

        returnnil, fmt.Errorf("failed to marshal  CNI request %v: %v", req, err)

    }

 

    client := &http.Client{

        Transport: &http.Transport{

            Dial: func(proto, addr string) (net.Conn, error) {

                return net.Dial("unix", p.socketPath)

            },

        },

    }

 

    varresp *http.Response

    err = p.hostNS.Do(func(ns.NetNS) error {

        resp, err = client.Post(url, "application/json", bytes.NewReader(data))

        return err

    })

    if err != nil {

        returnnil, fmt.Errorf("failed to send CNI  request: %v", err)

    }

    defer resp.Body.Close()

 

    body, err := ioutil.ReadAll(resp.Body)

    if err != nil {

        returnnil, fmt.Errorf("failed to read CNI  result: %v", err)

    }

 

    if resp.StatusCode != 200 {

        returnnil, fmt.Errorf("CNI request failed  with status %v: '%s'", resp.StatusCode, string(body))

    }

 

    return body, nil

}

 

// Send the ADD command  environment and config to the CNI server, returning

// the IPAM result to  the caller

func (p *cniPlugin) doCNIServerAdd(req *cniserver.CNIRequest,  hostVeth string) (types.Result, error) {

    req.HostVeth = hostVeth

    body, err := p.doCNI("http://dummy/", req)

    if err != nil {

        returnnil, err

    }

 

    // We currently expect CNI version 0.2.0  results, because that's the

    // CNIVersion we pass in our config JSON

    result, err := types020.NewResult(body)

    if err != nil {

        returnnil, fmt.Errorf("failed to  unmarshal response '%s': %v", string(body), err)

    }

 

    return result, nil

}

.... 

 

func (p *cniPlugin) CmdDel(args *skel.CmdArgs) error {

    _, err := p.doCNI("http://dummy/", newCNIRequest(args))

    return err

}

 

主要实现了CmdAdd、CmdDel两种类型的方法供kubelet调用,以完成POD创建或者删除时相关网络配置的变更。

 

其次就是实现了一个CNI的Server用来响应处理CNI客户端的请求,Server 跟Client之间通过一个unix类型的Socket以HTTP + JSON 的方式进行通信。

在Openshift中每个NODE启动时都会顺带启动一个CNI Server,在文件origin/pkg/network/node/pod.go#line170中

 

// Start the CNI server  and start processing requests from it

func (m *podManager) Start(rundir string, localSubnetCIDR string, clusterNetworks  []common.ClusterNetwork, serviceNetworkCIDR string) error {

    if m.enableHostports {

        iptInterface := utiliptables.New(utilexec.New(), utildbus.New(),  utiliptables.ProtocolIpv4)

        m.hostportSyncer = kubehostport.NewHostportSyncer(iptInterface)

    }

 

    varerrerror

    ifm.ipamConfig, err = getIPAMConfig(clusterNetworks, localSubnetCIDR); err != nil {

        return err

    }

 

    go m.processCNIRequests()

 

    m.cniServer = cniserver.NewCNIServer(rundir,  &cniserver.Config{MTU: m.mtu, ServiceNetworkCIDR: serviceNetworkCIDR})

    return m.cniServer.Start(m.handleCNIRequest)

}

 

其中的line184的cniserver.NewCNIServer具体实现在文件origin/pkg/network/node/cniserver/cniserver.go#line120中

 

//  Create and return a new CNIServer object which will listen on a socket in the  given path

funcNewCNIServer(rundir string, config *Config)  *CNIServer {

    router := mux.NewRouter()

 

    s := &CNIServer{

        Server: http.Server{

            Handler: router,

        },

        rundir: rundir,

        config: config,

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/运维做开发/article/detail/841437
推荐阅读
相关标签
  

闽ICP备14008679号