วิธีเปิดไฟล์ข้อความและ CSV ขนาดใหญ่จริงๆ

MS Excelสามารถแสดงได้ 1,048,576 แถว แม้ว่าการใช้งานปกติอาจดูเหมือนเป็นจำนวนมาก แต่ก็มีสถานการณ์มากมายที่ไม่เพียงพอ

ไม่ว่าคุณจะกำลังดูไฟล์บันทึกหรือชุดข้อมูลขนาดใหญ่ไฟล์ CSV(CSV)ที่มีหลายล้านแถวหรือไฟล์ข้อความ ขนาดใหญ่ก็เป็นเรื่องง่าย เนื่องจากExcelไม่สามารถรองรับไฟล์ขนาดใหญ่นี้ได้ คุณจะเปิดไฟล์เหล่านั้นได้อย่างไร ลองหากัน

เหตุใด โปรแกรม แก้ไขข้อความปกติ(Normal Text Editors) จึง ไม่ สามารถ เปิดไฟล์ขนาดใหญ่(Open Really Large Files)ได้

คอมพิวเตอร์มีพื้นที่เก็บข้อมูลเป็นกิกะไบต์ เหตุใดโปรแกรมแก้ไขข้อความจึงเปิดไฟล์ขนาดใหญ่ไม่ได้

มีสองปัจจัยที่เล่นที่นี่ แอปพลิเคชั่นบางตัวมีขีด จำกัด ฮาร์ดโค้ดว่าสามารถแสดงข้อมูลได้มากน้อยเพียงใด ไม่สำคัญหรอกว่าพีซีของคุณมีหน่วยความจำมากแค่ไหน แต่ก็ใช้ไม่ได้

ปัญหาที่สองคือRAM โปรแกรมแก้ไขข้อความจำนวนมากไม่ได้จำกัดจำนวนแถวแบบตายตัว แต่ไม่สามารถแสดงไฟล์ขนาดใหญ่ได้เนื่องจากข้อจำกัดด้านหน่วยความจำ พวกเขาโหลดไฟล์ทั้งหมดลงในRAM ของระบบ ดังนั้นหากหน่วยความจำนี้ไม่ใหญ่พอ กระบวนการก็จะล้มเหลว

วิธีที่ #1: การใช้ตัวแก้ไขฟรี

วิธีที่ดีที่สุดในการดูไฟล์ข้อความขนาดใหญ่มากคือการใช้... โปรแกรมแก้ไขข้อความ ไม่ใช่แค่โปรแกรมแก้ไขข้อความเท่านั้น แต่ยังเป็นเครื่องมือสำหรับเขียนโค้ดอีกด้วย แอพดังกล่าวมักจะสามารถจัดการไฟล์ขนาดใหญ่ได้โดยไม่มีปัญหาและฟรี

โปรแกรมดูไฟล์ข้อความขนาดใหญ่(Large Text File Viewer)น่าจะเป็นแอพพลิเคชั่นที่ง่ายที่สุด ใช้งานง่ายมาก ทำงานเร็ว และมีการใช้ทรัพยากรน้อยมาก ข้อเสียเพียงอย่างเดียว? ไม่สามารถแก้ไขไฟล์ได้ แต่ถ้าคุณต้องการดูเฉพาะไฟล์ CSV(CSV) ขนาดใหญ่ นี่เป็นเครื่องมือที่ดีที่สุดสำหรับงานนี้

สำหรับการแก้ไขไฟล์ข้อความขนาดใหญ่ด้วย คุณควรลองใช้Emacs สร้างขึ้นสำหรับระบบ Unix(Unix)ซึ่งทำงานได้ดีบนWindowsเป็นอย่างดี และสามารถจัดการไฟล์ขนาดใหญ่ได้ ในทำนองเดียวกันNeovimและSublime Text เป็น (Sublime Text)IDE(IDEs)น้ำหนักเบาสอง ตัว ที่สามารถใช้เปิด ไฟล์ ข้อความCSV ขนาดกิกะไบต์ได้(CSV)

หากสิ่งที่คุณกำลังมองหาคือค้นหาข้อมูลผ่านไฟล์บันทึกขนาดใหญ่kloggเป็นเพียงเครื่องมือสำหรับคุณ แอ ปพลิเค ชัน(glogg)นี้ช่วยให้คุณสามารถดำเนินการค้นหาที่ซับซ้อนผ่านไฟล์ข้อความขนาดใหญ่ได้อย่างง่ายดาย เนื่องจากไฟล์บันทึกที่สร้างโดยคอมพิวเตอร์มักจะมีแถวได้หลายล้านแถว klogg จึงได้รับการออกแบบมาให้ทำงานกับขนาดไฟล์ดังกล่าวได้โดยไม่มีปัญหา

วิธี(Method)ที่ #2: แบ่งออกเป็นหลายส่วน(Into Multiple Parts)

ปัญหาทั้งหมดในการพยายามเปิดไฟล์ CSV(CSV) ขนาดใหญ่ คือไฟล์มีขนาดใหญ่เกินไป แต่ถ้าคุณต้องแยกไฟล์เหล่านี้เป็นไฟล์ขนาดเล็กหลายไฟล์ล่ะ

นี่เป็นวิธีแก้ปัญหายอดนิยม เนื่องจากโดยทั่วไปไม่ต้องเรียนรู้อินเทอร์เฟซของโปรแกรมแก้ไขข้อความใหม่ คุณสามารถใช้ตัวแยก CSV ตัวใดตัวหนึ่งที่มีอยู่ออนไลน์(one of the many CSV splitters available online)เพื่อแยกไฟล์ขนาดใหญ่ออกเป็นไฟล์ที่เปิดง่ายจำนวนหนึ่ง แต่ละไฟล์เหล่านี้สามารถเข้าถึงได้ตามปกติ

อย่างไรก็ตาม นี่ไม่ใช่วิธีที่ดีที่สุดในการดำเนินการนี้ การแยกไฟล์ขนาดใหญ่มักจะทำให้เกิดการพิมพ์ผิดแปลก ๆ หรือไฟล์ที่กำหนดค่าอย่างไม่เหมาะสม นอกจากนี้ การเปิดแต่ละส่วนแยกกันจะป้องกันไม่ให้คุณกรองข้อมูลทั้งหมดในคราวเดียว

วิธีที่ #3: นำเข้าไปยังฐานข้อมูล

ไฟล์ข้อความและ .csv ที่ขยายได้ถึงหลายกิกะไบต์มักเป็นชุดข้อมูลขนาดใหญ่ ทำไมไม่เพียงแค่นำเข้าลงในฐานข้อมูล?

SQLเป็นภาษามาร์กอัปฐานข้อมูลที่ใช้บ่อยที่สุดในปัจจุบัน มีSQL หลายเวอร์ชันที่(many versions of SQL)ใช้อยู่ แต่วิธีที่ง่ายที่สุดคือMySQL และโชคดีที่มันเป็นไปได้ที่จะแปลงไฟล์ CSV เป็นตาราง(convert a CSV file into a MySQL table) MySQL

นี่ไม่ใช่วิธีที่ง่ายที่สุดในการจัดการกับไฟล์ CSV(CSV) ขนาดใหญ่ ดังนั้นเราขอแนะนำวิธีนี้เฉพาะในกรณีที่คุณต้องการจัดการกับชุดข้อมูลขนาดใหญ่เป็นประจำเท่านั้น หากMySQLฟังดูยากเกินไป คุณสามารถนำเข้าไฟล์ .csv ไปยังMS Accessแทนได้เสมอ

วิธี(Method)ที่ #4: วิเคราะห์ด้วยPython Libraries

เมื่อคุณทำงานกับไฟล์ .csv ที่มีข้อมูลหลายล้านแถว คุณจะไม่สามารถทำความเข้าใจด้วยตนเองได้มากนัก คุณอาจต้องการกรองข้อมูลและเรียกใช้การสืบค้นข้อมูลเฉพาะเพื่อทำความเข้าใจแนวโน้ม

เหตุใดจึงไม่เขียนโค้ด Python(write Python code)ให้ทำเช่นนั้นล่ะ

อีกครั้งนี่ไม่ใช่วิธีที่ใช้งานง่ายที่สุด แม้ว่าPython จะไม่ใช่ภาษาการเขียนโปรแกรมที่ยากที่สุดในการเรียนรู้(Python isn’t the hardest programming language to learn)แต่เป็นการเขียนโค้ด ดังนั้นจึงอาจไม่ใช่แนวทางที่ดีที่สุดสำหรับคุณ อย่างไรก็ตาม หากคุณพบว่าตัวเองต้องแยกวิเคราะห์ไฟล์ CSV(CSV) ขนาดใหญ่ ในแต่ละวัน คุณอาจต้องการทำให้งานเป็นอัตโนมัติด้วยโค้ด(automate the task with some Python code) Python

วิธีที่ #5: ด้วยเครื่องมือระดับพรีเมียม

โปรแกรมแก้ไขข้อความที่เราเห็นในวิธีแรกไม่ใช่เครื่องมือเฉพาะสำหรับการประมวลผลCSV พวกมันเป็นเครื่องมือเอนกประสงค์ที่สามารถใช้ทำงานกับไฟล์ .csv ขนาดใหญ่ได้เช่นกัน

แต่แล้วแอปพลิเคชันพิเศษล่ะ? ไม่มีแอพที่สร้างขึ้นเพื่อแก้ปัญหานี้หรือไม่?

มีอยู่จริง. ตัวอย่างเช่น CSV Explorer(CSV Explorer)สร้างขึ้นจากกระบวนการที่เราได้อธิบายไว้ในสองวิธีสุดท้าย ( ฐานข้อมูล SQLและ โค้ด Python ) เพื่อสร้างแอปที่สามารถดูและแก้ไขไฟล์ CSV(CSV)ขนาดใดก็ได้ คุณสามารถทำทุกอย่างที่คาดหวังจากเครื่องมือสเปรดชีต เช่น สร้างกราฟหรือกรองข้อมูลในCSV Explorer(CSV Explorer)

อีกทางเลือกหนึ่งคือUltraEdit ไม่เหมือนกับเครื่องมือก่อนหน้านี้ ซึ่งไม่ได้มีไว้สำหรับไฟล์ .csv เท่านั้น แต่สำหรับไฟล์ข้อความทุกประเภท มันสามารถจัดการไฟล์ข้อความและCSVที่มีขนาดไม่กี่กิกะไบต์ได้อย่างง่ายดาย ด้วยอินเทอร์เฟซที่คล้ายกับโปรแกรมแก้ไขฟรีหลายตัวที่เราพูดถึงก่อนหน้านี้ 

ข้อเสียเปรียบเพียงอย่างเดียวของเครื่องมือเหล่านี้คือมันเป็นแอปพลิเคชันระดับพรีเมียม ซึ่งคุณต้องได้รับใบอนุญาตแบบชำระเงินจึงจะสามารถใช้งานได้ คุณสามารถทดลองใช้เวอร์ชันทดลองฟรีเพื่อดูคุณลักษณะต่างๆ ได้ตลอดเวลา หรือหากคุณมีการใช้งานเพียงครั้งเดียว

วิธี ใดดีที่สุดในการเปิด ไฟล์ ข้อความขนาดใหญ่(Large Text)และไฟล์ CSV(CSV Files)

ในยุคของBig Dataนี้ ไม่ใช่เรื่องแปลกที่จะเรียกใช้ไฟล์ข้อความที่ทำงานเป็นกิกะไบต์ ซึ่งอาจเป็นเรื่องยากที่จะดูด้วยเครื่องมือในตัว เช่นNotepad หรือ(Notepad) MS Excel (MS Excel)เพื่อให้สามารถเปิดไฟล์ CSV(CSV) ขนาดใหญ่ ได้ คุณต้องดาวน์โหลดและใช้แอปพลิเคชันบุคคลที่สาม

หากคุณต้องการเพียงแค่ดูไฟล์ดังกล่าวLarge Text File Viewerก็เป็นตัวเลือกที่ดีที่สุดสำหรับคุณ สำหรับการแก้ไขจริงๆ คุณสามารถลองใช้โปรแกรมแก้ไขข้อความที่มีคุณลักษณะมากมาย เช่นEmacs หรือ ลองใช้เครื่องมือระดับพรีเมียม เช่นCSV Explorer

เทคนิคต่างๆ เช่น การแยกไฟล์ CSV(CSV)หรือการนำเข้าไปยังฐานข้อมูลนั้นมีหลายขั้นตอนเกินไป คุณควรได้รับใบอนุญาตแบบชำระเงินสำหรับเครื่องมือระดับพรีเมียมโดยเฉพาะ หากคุณพบว่าตัวเองต้องทำงานกับไฟล์ข้อความขนาดใหญ่เป็นจำนวนมาก



About the author

ฉันเป็นผู้เชี่ยวชาญด้านคอมพิวเตอร์และทำงานกับคอมพิวเตอร์มาหลายปีแล้ว ฉันมีประสบการณ์กับทั้ง Apple iPhone และ Microsoft Windows 10 ทักษะของฉัน ได้แก่ การใช้คอมพิวเตอร์เพื่อสร้าง เข้ารหัส และจัดเก็บข้อมูล การค้นหาและแก้ไขข้อบกพร่องในซอฟต์แวร์ และการแก้ไขปัญหา ฉันมีความรู้ในทุกด้านของการใช้คอมพิวเตอร์ รวมถึง Apple iOS, Microsoft Windows 10, การป้องกันแรนซัมแวร์ และอื่นๆ ฉันมั่นใจว่าทักษะของฉันจะเป็นประโยชน์ต่อธุรกิจหรือองค์กรของคุณ



Related posts