Python中的迭代器

说迭代器之前有两个相关的名词需要介绍：

可迭代对象：只要定义了__iter__()方法，我们就说该对象是可迭代对象，并且可迭代对象能提供迭代器。

迭代器：实现了__next__()或者next()(python2)方法的称为迭代器，迭代器仅仅在迭代到某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁，因此只占用固定的内存。

迭代：当我们使用一个循环来遍历某个东西时，这个过程本身就叫迭代。迭代器迭代的元素只能往前不能后退。

1、为何用迭代器

下面用生成斐波那契数列为例子，说明为何用迭代器

#代码1

def fab(max):

    n, a, b = 0, 0, 1

    while n < max:

        print b

        a, b = b, a + b

        n = n + 1

#直接在函数fab(max)中用print打印会导致函数的可复用性变差，因为fab返回None。其他函数无法获得fab函数返回的数列。

#代码2

def fab(max):

    L = []

    n, a, b = 0, 0, 1

    while n < max:

        L.append(b)

        a, b = b, a + b

        n = n + 1

    return L

 

#代码2满足了可复用性的需求，但是占用了内存空间。

#代码3，定义并使用迭代器

 class Fab(object):

    def __init__(self, max):

        self.max = max

        self.n, self.a, self.b = 0, 0, 1

    def __iter__(self):

        return self

 

    def next(self):

        if self.n < self.max:

            r = self.b

            self.a, self.b = self.b, self.a + self.b

            self.n = self.n + 1

            return r

        raise StopIteration()       

for key in Fabs(5):

    print key        

    #Fabs 类通过 next() 不断返回数列的下一个数，内存占用始终为常数　　

2、如何使用迭代器

使用内建的工厂函数iter(iterable)可以获取迭代器对象（对象包含__iter__方法即可迭代，__iter__方法返回一个迭代器）：

>>> lst = range(5)

>>> it = iter(lst)

>>> it

<listiterator object at 0x0000000001E43390>

使用next()方法访问下一个元素

>>> it.next()

0

>>> it.next()

1

>>> it.next()

2

python处理迭代器越界是抛出StopIteration异常

>>> it.next()

3

>>> it.next

<method-wrapper 'next' of listiterator object at 0x01A63110>

>>> it.next()

4

>>> it.next()

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration

了解了StopIteration，可以使用迭代器进行遍历了：

lst = range(5)

it = iter(lst)

try:

    while True:

        val = it.next()

        print val

except StopIteration:

    pass

 3、for语法糖

幸运的是python提供的for语句语法糖为迭代提供了方便的使用方法。在for循环中，Python将自动调用工厂函数iter()获得迭代器，自动调用next()获取元素，还完成了检查StopIteration异常的工作。

>>> lst = range(5)

>>> for i in lst:

...     print i

...

0

1

2

3

4

 

4、如何判断一个对象是否可以迭代

可以使用 isinstance() 判断一个对象是否是 Iterable 对象：

In [50]: from collections import Iterable

In [51]: isinstance([], Iterable)

Out[51]: True​

In [52]: isinstance({}, Iterable)

Out[52]: True

In [53]: isinstance('abc', Iterable)

Out[53]: True

In [54]: isinstance(mylist, Iterable)

Out[54]: False

In [55]: isinstance(100, Iterable)

Out[55]: False

5、 可迭代对象的本质

我们分析对可迭代对象进行迭代使用的过程，发现每迭代一次（即在for...in...中每循环一次）都会返回对象中的下一条数据，一直向后读取数据直到迭代了所有数据后结束。那么，在这个过程中就应该有一个“人”去记录每次访问到了第几条数据，以便每次迭代都可以返回下一条数据。我们把这个能帮助我们进行数据迭代的“人”称为迭代器(Iterator)。

可迭代对象的本质就是可以向我们提供一个这样的中间“人”即迭代器帮助我们对其进行迭代遍历使用。

可迭代对象通过__iter__方法向我们提供一个迭代器，我们在迭代一个可迭代对象的时候，实际上就是先获取该对象提供的一个迭代器，然后通过这个迭代器来依次获取对象中的每一个数据.

那么也就是说，一个具备了__iter__方法的对象，就是一个可迭代对象。

>>> class MyList(object):
 
...     def __init__(self):
 
...             self.container = []
 
...     def add(self, item):
 
...             self.container.append(item)
 
...     def __iter__(self):
 
...             """返回一个迭代器"""
 
...             # 我们暂时忽略如何构造一个迭代器对象
 
...             pass
 
...
 
>>> mylist = MyList()
 
>>> from collections import Iterable
 
>>> isinstance(mylist, Iterable)
 
True
 
>>>
 
# 这回测试发现添加了__iter__方法的mylist对象已经是一个可迭代对象了

6、 iter()函数与next()函数

list、tuple等都是可迭代对象，我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的__iter__方法。

>>> li = [11, 22, 33, 44, 55]

>>> li_iter = iter(li)

>>> next(li_iter)

11

>>> next(li_iter)

22

>>> next(li_iter)

33

>>> next(li_iter)

44

>>> next(li_iter)

55

>>> next(li_iter)

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

>>>

注意，当我们已经迭代完最后一个数据之后，再次调用next()函数会抛出StopIteration的异常，来告诉我们所有数据都已迭代完成，不用再执行next()函数了。

7、如何判断一个对象是否是迭代器

可以使用 isinstance() 判断一个对象是否是 Iterator 对象：

In [56]: from collections import Iterator
 
In [57]: isinstance([], Iterator)
 
Out[57]: False
 
​
In [58]: isinstance(iter([]), Iterator)
 
Out[58]: True
 
​
In [59]: isinstance(iter("abc"), Iterator)
 
Out[59]: True

8. 迭代器Iterator

通过上面的分析，我们已经知道，迭代器是用来帮助我们记录每次迭代访问到的位置，当我们对迭代器使用next()函数的时候，迭代器会向我们返回它所记录位置的下一个位置的数据。实际上，在使用next()函数的时候，调用的就是迭代器对象的__next__方法（Python3中是对象的__next__方法，Python2中是对象的next()方法）。所以，我们要想构造一个迭代器，就要实现它的__next__方法。但这还不够，python要求迭代器本身也是可迭代的，所以我们还要为迭代器实现__iter__方法，而__iter__方法要返回一个迭代器，迭代器自身正是一个迭代器，所以迭代器的__iter__方法返回自身即可。

一个实现了iter方法和next方法的对象，就是迭代器。

class MyList(object):
 
    """自定义的一个可迭代对象"""
 
    def __init__(self):
 
        self.items = []
 
​
 
    def add(self, val):
 
        self.items.append(val)
 
​
 
    def __iter__(self):
 
        myiterator = MyIterator(self)
 
        return myiterator
 
​
 
class MyIterator(object):
 
    """自定义的供上面可迭代对象使用的一个迭代器"""
 
    def __init__(self, mylist):
 
        self.mylist = mylist
 
        # current用来记录当前访问到的位置
 
        self.current = 0
 
​
 
    def __next__(self):
 
        if self.current < len(self.mylist.items):
 
            item = self.mylist.items[self.current]
 
            self.current += 1
 
            return item
 
        else:
 
            raise StopIteration
 
​
 
    def __iter__(self):
 
        return self
    
 
if __name__ == '__main__':
 
    mylist = MyList()
 
    mylist.add(1)
 
    mylist.add(2)
 
    mylist.add(3)
 
    mylist.add(4)
 
    mylist.add(5)
 
    for num in mylist:
 
        print(num)

9. for...in...循环的本质

for item in Iterable 循环的本质就是先通过iter()函数获取可迭代对象Iterable的迭代器，然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值给item，当遇到StopIteration的异常后循环结束。

10. 迭代器的应用场景

我们发现迭代器最核心的功能就是可以通过next()函数的调用来返回下一个数据值。如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定的规律计算生成的，那么也就意味着可以不用再依赖一个已有的数据集合，也就是说不用再将所有要迭代的数据都一次性缓存下来供后续依次读取，这样可以节省大量的存储（内存）空间。

举个例子，比如，数学中有个著名的斐波拉契数列（Fibonacci），数列中第一个数为0，第二个数为1，其后的每一个数都可由前两个数相加得到：

0, 1, 1, 2, 3, 5, 8, 13, 21, 34, ...

现在我们想要通过for...in...循环来遍历迭代斐波那契数列中的前n个数。那么这个斐波那契数列我们就可以用迭代器来实现，每次迭代都通过数学计算来生成下一个数。

class FibIterator(object):
 
    """斐波那契数列迭代器"""
 
    def __init__(self, n):
 
        """
 
        :param n: int, 指明生成数列的前n个数
 
        """
 
        self.n = n
 
        # current用来保存当前生成到数列中的第几个数了
 
        self.current = 0
 
        # num1用来保存前前一个数，初始值为数列中的第一个数0
 
        self.num1 = 0
 
        # num2用来保存前一个数，初始值为数列中的第二个数1
 
        self.num2 = 1
 
​
 
    def __next__(self):
 
        """被next()函数调用来获取下一个数"""
 
        if self.current < self.n:
 
            num = self.num1
 
            self.num1, self.num2 = self.num2, self.num1+self.num2
 
            self.current += 1
 
            return num
 
        else:
 
            raise StopIteration
 
 
    def __iter__(self):
 
        """迭代器的__iter__返回自身即可"""
 
        return self
 
 
if __name__ == '__main__':
 
    fib = FibIterator(10)
 
    for num in fib:
 
        print(num, end=" ")

11. 并不是只有for循环能接收可迭代对象

除了for循环能接收可迭代对象，list、tuple等也能接收。

li = list(FibIterator(15))
 
print(li)
 
tp = tuple(FibIterator(6))
 
print(tp)

带有 yield 的函数在 Python 中被称之为 generator（生成器），几个例子说明下（还是用生成斐波那契数列说明），可以看出代码3远没有代码1简洁，生成器（yield）既可以保持代码1的简洁性，又可以保持代码3的效果。

#代码4

def fab(max):

    n, a, b = 0, 0, 1

    while n < max:

        yield b

        a, b = b, a + b

        n = n+ 1

#执行

for n in fab(5):

    print n   

1

1

2

3

5