chap3 updated

chap3_work.py

@@ -10,6 +10,8 @@
         print(link.attrs['href'])
 
 ## p.35あたり
+"""
+# 停止条件が満たされにくいコードのため，どっかでctrl+Cで止める必要あり
 import datetime
 import random
 
@@ -23,4 +25,23 @@ def getLinks(articleUrl):
 while len(links) > 0:
     newArticle = links[random.randint(0, len(links)-1)].attrs['href']
     print(newArticle)
-    links = getLinks(newArticle)
+    links = getLinks(newArticle)
+"""
+
+## 3-2
+# 停止条件が満たされにくいコードのため，どっかでctrl+Cで止める必要あり
+pages = set()
+def getLinks(pageUrl):
+    global pages
+    html = urlopen('http://en.wikipedia.org{}'.format(pageUrl))
+    bs = BeautifulSoup(html, 'html.parser')
+    for link in bs.find_all('a', href=re.compile('^(/wiki/)')):
+        if 'href' in link.attrs:
+            if link.attrs['href'] not in pages:
+                # 新しいページに出会った
+                newPage = link.attrs['href']
+                print(newPage)
+                pages.add(newPage)
+                getLinks(newPage)
+
+getLinks('')