การ ขูดเว็บ^{(Web scraping)}คือการดึงข้อมูล ข้อมูล หรือรูปภาพจากเว็บไซต์โดยใช้วิธีการอัตโนมัติ คิดว่า^(Think)เป็นการคัดลอกและวาง^{(copy and paste)}อัตโนมัติเต็มรูปแบบ

เราเขียนหรือใช้แอพเพื่อไปยังเว็บไซต์ที่เราต้องการและทำสำเนาของสิ่งที่เราต้องการจากเว็บไซต์เหล่านั้น มีความแม่นยำมากกว่าการดาวน์โหลดทั้งเว็บไซต์

เช่นเดียวกับเครื่องมืออื่นๆ การขูดเว็บสามารถใช้ได้ทั้งดีและชั่ว เหตุผลที่ดีกว่าบางประการในการคัดลอกเว็บไซต์คือการจัดอันดับเว็บไซต์ใน เครื่องมือค้นหาโดย^{(search engine)}พิจารณาจากเนื้อหาการเปรียบเทียบราคาซื้อ^{(price comparison shopping)}ของ หรือการตรวจสอบ ข้อมูลตลาดหุ้น ^{(stock market information)}คุณอาจจะใช้มันเป็นเครื่องมือในการวิจัย^{(research tool)}ก็ได้

ฉันจะขูดเว็บไซต์ด้วยExcelได้อย่างไร

เชื่อหรือไม่ว่าExcelมีความสามารถในการดึงข้อมูลจากเว็บไซต์มาเป็นเวลานาน อย่างน้อย นับตั้งแต่Excel 2003 . เป็นเพียงการขูดเว็บเป็นสิ่งที่คนส่วนใหญ่ไม่ได้นึกถึง^{(t think)}นับประสาเรื่องการใช้ โปรแกรมสเปรดชีต^{(spreadsheet program)}เพื่อทำงาน แต่มันง่ายอย่างน่าประหลาดใจและทรงพลัง มาเรียนรู้วิธีการทำงานด้วยการสร้างคอลเลกชัน แป้นพิมพ์ ลัด ของ Microsoft Office^{(Microsoft Office keyboard)}

ค้นหาไซต์ที่คุณต้องการขูด

สิ่งแรกที่เราจะทำคือค้นหาหน้าเว็บเฉพาะที่เราต้องการรับข้อมูล ไปที่ต้นทางแล้ว^{(source and search)}ค้นหาที่https://support.office.com/เราจะใช้คำค้นหา^{(search term)} "ทางลัดที่ใช้บ่อย" เราสามารถทำให้เฉพาะเจาะจงมากขึ้นโดยใช้ชื่อของแอปเฉพาะ เช่นOutlook , Excel , Wordเป็นต้น อาจเป็นความคิดที่ดีที่จะบุ๊กมาร์กหน้าผลลัพธ์เพื่อให้เราสามารถกลับไปที่นั่นได้อย่างง่ายดาย

คลิก^(Click)ที่ผลการค้นหา^{(search result)} "แป้นพิมพ์ลัดในExcelสำหรับ Windows" เมื่ออยู่ในหน้านั้น ให้ค้นหารายการเวอร์ชันของExcelแล้วคลิกเวอร์ชันที่ใหม่^{(Newer Versions)}กว่า ตอนนี้เรากำลังทำงานกับสิ่งใหม่ล่าสุดและยิ่งใหญ่ที่สุด

เราสามารถกลับไปที่หน้าผลการค้นหาของเราและเปิดผลลัพธ์สำหรับแอป Office^{(Office apps)} อื่นๆ ทั้งหมด ในแท็บของตนเองและบุ๊กมาร์กไว้ เป็นความคิดที่ดี แม้แต่สำหรับการออกกำลังกายนี้ นี่คือจุดที่คนส่วนใหญ่หยุดรวบรวม ทางลัดของ Officeแต่ไม่ใช่เรา เราจะใส่ไว้ในExcelเพื่อให้เราสามารถทำทุกอย่างที่เราต้องการกับพวกเขาได้ทุกเมื่อที่เราต้องการ

เปิด Excel และขูด

เปิดExcelและเริ่มเวิร์กบุ๊กใหม่ บันทึกเวิร์กบุ๊กเป็นOffice Shortcuts ^{(Office Shortcuts)}หากคุณมี OneDrive ให้บันทึกไว้ที่นั่นเพื่อให้ ฟีเจอร์ บันทึกอัตโนมัติ^{(AutoSave )}ทำงาน

เมื่อบันทึกเวิร์กบุ๊กแล้ว ให้คลิกที่แท็บข้อมูล^(Data)

ในแถบริบบิ้นของแท็บ Data^{(Data tab)}ให้คลิกที่From Web^{(From Web)}

หน้าต่าง ตัว ช่วยสร้าง จากเว็บ^{(From Web )}จะเปิดขึ้น นี่คือที่ที่เราใส่ที่อยู่เว็บหรือ URL^{(web address or URL)}ของเว็บไซต์ที่เราต้องการขูดข้อมูล สลับไปที่เว็บเบราว์เซอร์ของคุณและคัดลอก^(copy) URL

วาง URL ลงในช่องURL ของวิซาร์ดจาก^{(From Web wizard)}เว็บ เราสามารถเลือกใช้สิ่งนี้ในโหมดพื้นฐาน^(Basic)หรือขั้นสูง ^(Advanced)โหมดขั้นสูง^{(Advanced mode)}ทำให้เรามีตัวเลือกมากขึ้นในการเข้าถึงข้อมูลจากเว็บไซต์ สำหรับแบบฝึกหัดนี้ เราต้องใช้โหมดพื้นฐานเท่านั้น คลิก^(Click) ตกลง^(OK) _

Excelจะพยายามเชื่อมต่อกับเว็บไซต์ในขณะนี้ อาจใช้เวลาสักครู่ เราจะเห็นหน้าต่างความคืบหน้า^{(progress window)}หากมี

หน้าต่าง ตัวนำทาง^(Navigator) จะเปิดขึ้น และเราจะเห็นรายการตารางจากเว็บไซต์ทางด้านซ้าย เมื่อเราเลือกหนึ่งรายการ เราจะเห็นตัวอย่างตารางทางด้านขวา มาเลือกตารางทางลัดที่ใช้บ่อยกัน เถอะ^{(Frequently used shortcuts )}

เราสามารถคลิกที่ แท็บ Web Viewเพื่อดูเว็บไซต์จริง หากเราต้องมองไปรอบๆ เพื่อหาตารางที่เราต้องการ เมื่อเราพบแล้ว เราสามารถคลิกที่มัน และมันจะถูกเลือกเพื่อนำเข้า

ตอนนี้เราคลิกที่ ปุ่ม โหลด^(Load) ที่ด้านล่างของหน้าต่างนี้ มีตัวเลือกอื่นๆ ที่เราเลือกได้ ซึ่งซับซ้อนกว่าและอยู่นอกเหนือขอบเขตของการขูดครั้งแรก เพียงแค่ทราบว่าพวกเขาอยู่ที่นั่น ความสามารถในการขูดเว็บของ Excel นั้นทรงพลังมาก

ตารางเว็บ^{(web table)}จะโหลดในExcelหลังจากไม่กี่วินาที เราจะเห็นข้อมูลทางด้านซ้าย โดยที่หมายเลข1อยู่ในภาพด้านล่าง หมายเลข2เน้นQuery ที่ ใช้ในการรับข้อมูลจากเว็บไซต์ เมื่อเรามีคำถามหลายรายการในสมุดงาน นี่คือที่ที่เราจะเลือกหนึ่งคำถามที่เราต้องใช้

สังเกต^(Notice)ว่าข้อมูลเข้ามาในสเปรดชีตเป็นตาราง Excel ได้จัดเตรียมไว้ให้เราสามารถกรองหรือจัดเรียงข้อมูลได้

เราสามารถทำซ้ำขั้นตอนนี้สำหรับหน้าเว็บอื่นๆ ทั้งหมดที่มีปุ่มลัด ของ Office ที่เราต้องการสำหรับ ^(Office)Outlook , Word , Access , PowerPointและแอป Office^{(Office app)} อื่น ๆ

การ รักษาข้อมูลที่ขูดให้เป็นปัจจุบัน^{(Scraped Data Current)}ในExcel

เพื่อเป็นโบนัสสำหรับคุณ เราจะได้เรียนรู้วิธีทำให้ข้อมูลที่คัดลอกมาในExcelอยู่เสมอ นี่เป็นวิธีที่ยอดเยี่ยมในการแสดงให้เห็นว่า Excel^(Excel)มีประสิทธิภาพเพียงใดในการดึงข้อมูล ถึงแม้ว่าเราจะทำเพียงแค่การขูดพื้นฐานที่สุดที่Excelสามารถทำได้

สำหรับตัวอย่างนี้ ให้ใช้หน้าเว็บข้อมูลหุ้น^{(stock information)}เช่นhttps://www.cnbc.com/stocks/

ดูสิ่งที่เราทำก่อนหน้านี้แล้วคัดลอกและวาง^{(copy and paste)}URLใหม่จากแถบที่^{(address bar)}อยู่

คุณจะไปที่หน้าต่างตัวนำทาง^{(Navigator window)}และดูตารางที่พร้อมใช้งาน มาเลือกดัชนีหุ้นสหรัฐรายใหญ่^{(Major U.S. Stock Indices)}กัน

เมื่อข้อมูลถูกคัดลอกแล้ว เราจะเห็นสเปรดชีตต่อไปนี้

ทางด้านขวา เราจะเห็นข้อความค้นหาดัชนีหุ้นสหรัฐฯ ราย^{(Major U.S. Stock Indexes)}ใหญ่ เลือก^(Select)เพื่อให้ถูกเน้น ตรวจสอบ ให้^(Make)แน่ใจว่าเราอยู่ใน แท็บ เครื่องมือตาราง^{(Table Tools)}และใน พื้นที่ออกแบบ ^(Design)จากนั้นคลิกที่ลูกศร ลงใต้รีเฟรช ^(Refresh)จากนั้นคลิกที่คุณสมบัติการเชื่อม^{(Connection Properties)}ต่อ

ในหน้าต่างคุณสมบัติการสืบค้น ภายใต้แท็บ ^{(Query Properties )}การใช้งาน^(Usage) เราสามารถควบคุมวิธีการรีเฟรชข้อมูลนี้ได้ เราสามารถกำหนดช่วงเวลาเฉพาะเพื่อรีเฟรช หรือรีเฟรชเมื่อเราเปิดเวิร์กบุ๊กในครั้งต่อไป หรือรีเฟรชในพื้นหลัง หรือการรวมกันของสิ่งเหล่านี้ เมื่อเราเลือกสิ่งที่เราต้องการแล้ว ให้คลิกที่ตกลง^(OK)เพื่อปิดหน้าต่างและดำเนินการต่อ

แค่นั้นแหละ! ตอนนี้คุณสามารถติดตามราคาหุ้น ผลการแข่งขันกีฬา หรือข้อมูลอื่นๆ ที่เปลี่ยนแปลงบ่อยจากสเปรดชีตExcel ^{(Excel spreadsheet)}ถ้าคุณใช้ สมการและฟังก์ชันของ Excel ได้ดี คุณจะทำเกือบทุกอย่างที่ต้องการกับข้อมูลได้

อาจพยายามระบุแนวโน้มหุ้น เรียกใช้กีฬาแฟนตาซีในที่ทำงาน หรืออาจเพียงแค่ติดตามสภาพอากาศ ใครจะรู้? จินตนาการและข้อมูลของคุณบนอินเทอร์เน็ต^(Internet)เป็นข้อจำกัดเพียงอย่างเดียว

Use Excel as a Tool to Copy Data from the Web

Web scraping is the act of extractіng data, information, or images from a website using an automated methоd. Think of it as copy and paste on full automatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• ใช้ฟังก์ชัน "แทรกข้อมูลจากรูปภาพ" ใหม่ของ Excel Mobile

• ใช้ฟังก์ชันสรุปเพื่อสรุปข้อมูลใน Excel

• ใช้ Excel เพื่อหาอัตราดอกเบี้ยที่แท้จริงจากอัตราดอกเบี้ยที่กำหนด

• การสร้างแผนภูมิข้อมูล Excel ของคุณ

• วิธีการกรองข้อมูลใน Excel

• วิธีแยกชื่อและนามสกุลใน Excel

• ปรับความกว้างคอลัมน์และความสูงของแถวอัตโนมัติใน Excel

• วิธีสร้าง Flowchart ใน Word and Excel

• ใช้ Format Painter ใน Word เพื่อคัดลอกและวางการจัดรูปแบบ

• วิธีใช้คุณลักษณะการกู้คืนอัตโนมัติของ Excel และการสำรองข้อมูลอัตโนมัติ

• วิธีใช้ Sparklines ใน Excel

• วิธีการตั้งค่าและใช้รูปแบบ MLA ใน Microsoft Word

• เพิ่ม Regression Trendline แนวตรงไปยัง Excel Scatter Plot

• วิธีสร้างกราฟหรือแผนภูมิอย่างง่ายใน Excel

• วิธีใช้เปรียบเทียบและรวมเอกสารใน Word

• วิธีเปรียบเทียบไฟล์ Excel สองไฟล์และเน้นความแตกต่าง

• วิธีสลับระหว่างแผ่นงานใน Excel

• วิธีเปิด Excel หลายอินสแตนซ์

• ย้ายข้อมูลจาก MS Access ไปยังฐานข้อมูลเซิร์ฟเวอร์ SQL

• วิธีใช้ COUNTIFS, SUMIFS, AVERAGEIFS ใน Excel