Excel es excelente en tantas tareas diarias. Pero de vez en cuando, uno encuentra una de sus deficiencias: el tamaño de una hoja de cálculo. Si necesita saber cómo hacer que una hoja de cálculo de Excel sea más pequeña o cómo dividir una CSV grande, tenemos todo cubierto.
Tocar el límite de la fila de la hoja de cálculo es una tarea bastante seria en sí misma. El límite actual de la fila de la hoja de cálculo de Excel es 1.048.576. Así es, más de 1 millón de filas y la misma cantidad de columnas también.
Pero alcanzar ese límite de fila es realmente increíblemente fácil, durante ciertas tareas. Si está comercializando por correo electrónico, puede importar un archivo CSV Cómo importar datos a su hoja de cálculo de Excel de una forma ordenada y fácil Cómo importar datos a su hoja de cálculo de Excel de una manera ordenada y fácil ¿Alguna vez ha tenido problemas para importar o exportar datos a su Excel? ¿una hoja de cálculo? Este tutorial lo ayudará a dominar el arte de mover datos entre Microsoft Excel, CSV, HTML y otros formatos de archivo. Leer más que contiene millones de direcciones de correo electrónico. El único problema es cómo gestionas realmente una hoja de cálculo con tantas direcciones en? Además, ¿qué pasa si alguien le envía un CSV que ya está por encima del límite (de otro programa)?
Bueno, voy a mostrarte cómo descomponer ese enorme CSV en fragmentos fácilmente manejables.
(No tiene un CSV grande a mano) Hay algunos conjuntos de datos CSV bastante grandes disponibles 15 Bases de datos en línea masivas que debe conocer 15 Bases de datos en línea masivas que debe conocer Internet lo documenta todo. Algunos de esos datos se concentran en bases de conocimiento masivas. las enciclopedias en línea o las bases de datos, la pregunta es, ¿sabe cuáles son las mejores? Lea más en data.gov. Voy a utilizar la lista de 260, 000 filas de Comparación de hospitales, para que pueda usar el mismo archivo).
1. Usa un programa
Hay una cantidad de programas divisores CSV útiles. Te mostraré dos de los mejores.
CSV Chunker
CSV Chunker es un divisor de código abierto CSV. Puede manejar archivos masivos, dividiéndolos rápidamente en fragmentos de su elección. Nos llevó aproximadamente 3 segundos dividir nuestro CSV Hospital Compare en 106 bloques, que contienen 2, 500 filas cada uno.
Divisor de CSV
CSV Splitter es nuestra segunda herramienta. Ofrece la misma funcionalidad de CSV Chunker, aunque con un diseño un poco más elegante. CSV Splitter tomó aproximadamente 4 segundos para dividir nuestro Hospital Compare CSV en 106, nuevamente conteniendo 2, 500 filas cada uno.
2. Utiliza un archivo por lotes
A continuación, un archivo por lotes programable Cómo escribir un archivo por lotes simple (BAT) Cómo escribir un archivo por lotes simple (BAT) Los archivos por lotes pueden automatizar las tareas cotidianas de la computadora. Le mostraremos cómo funcionan los archivos por lotes y le enseñaremos los conceptos básicos. Al final de este artículo, habrá escrito su primer archivo por lotes. Lee mas . Podemos usar un archivo por lotes para procesar el CSV en fragmentos más pequeños, personalizando el archivo para entregar diferentes fragmentos.
Abra un nuevo documento de texto. Copie y pegue lo siguiente:
@echo off setlocal ENABLEDELAYEDEXPANSION REM Edite este valor para cambiar el nombre del archivo que necesita dividir. Incluye la extensión SET BFN = HCAHPSHospital.csv REM Edite este valor para cambiar el número de líneas por archivo. SET LPF = 2500 REM Edite este valor para cambiar el nombre de cada archivo corto. Seguirá un número que indica dónde está en la lista. SET SFN = HosptialSplitFile REM No cambie más allá de esta línea. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 Para / F "delims ==" %% l in (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% if! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) endlocal Pausa
Tendrá que configurar el archivo por lotes antes de ejecutar. Te diré lo que hace cada comando, y puedes modificarlo para adaptarlo al tamaño de tu archivo por lotes, así como a la salida requerida.
- "SET BFN =" debe apuntar al CSV que necesita para descomponer
- " SET LPF =" es la cantidad de filas a las que le gustaría limitar su nuevo archivo a
- "SET SFN =" es el nuevo esquema de nombres para sus archivos divididos
Una vez que haya ingresado sus variables, diríjase a Archivo> Guardar como. Elige el nombre del archivo y selecciona Guardar. Luego, seleccione su archivo de texto recién guardado y presione F2 para cambiarle el nombre. Reemplace la extensión TXT con BAT, y presione OK cuando aparezca la advertencia. ¡Ahora puedes dividir tu gran CSV!
Aunque te lo advierto, este método lleva tiempo. Probablemente sea mejor que uses uno de los divisores antes mencionados.
La secuencia de comandos original y el hilo se pueden encontrar aquí.
3. Utilice una secuencia de comandos de PowerShell
Los archivos por lotes son útiles. Puede usarlos para una amplia gama de tareas diarias. Pero los scripts de PowerShell son en general más rápidos, especialmente para este tipo de procesamiento y división.
La siguiente secuencia de comandos cortará rápidamente su gran CSV en archivos más pequeños. De nuevo, he usado el Hospital Compare CSV para mi ejemplo. La ejecución del comando tardó unos 3 segundos. Abra el ISE de Windows PowerShell. Si no está seguro de cómo hacerlo, escriba powershell ise en la búsqueda del menú Inicio y seleccione la opción correspondiente. Cuando el PowerShell ISE está abierto, seleccione la flecha Mostrar guión, que se encuentra en la esquina superior derecha (se indica en rojo en la imagen a continuación).
Copie y pegue el siguiente comando en el panel de secuencias de comandos, en la parte superior de la pantalla.
$ i = 0; Get-Content C: \ Users \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % {$ i ++; $ _ | Out-File C: \ Users \ Gavin \ Descargas \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv} Primero, necesita cambiar la ubicación de su archivo de entrada. En segundo lugar, debe especificar cuántas filas deben contener sus archivos de salida. Por último, especifique la ubicación de su archivo de salida. He dejado mis rutas de archivos para ilustrar la situación. Además, su nombre de archivo de salida debe tener el sufijo "_ $ i.csv" que coincida con el mío. De lo contrario, sus archivos de salida no se numerarán correctamente.
Cuando haya editado el archivo con sus propios datos, presione CTRL + S para guardar su secuencia de comandos.
El script original se puede encontrar aquí.
4. Cargarlo en un modelo de datos
Nuestra solución final no es dividir el CSV grande en partes más pequeñas. Verá, José Barreto, miembro del equipo de OneDrive, recientemente ilustró exactamente cómo puede cargar un gran archivo CSV en Excel. En este caso, grande significa más de 1.048.567 límite de fila. Explica en un tutorial que, en lugar de cargar el archivo, Excel 2016 puede crear un enlace de datos al archivo CSV.
Los datos del archivo CSV original estarán disponibles para el usuario dentro de un modelo de datos. Barreto creó una tabla dinámica usando "hasta 8.5 millones de filas sin ningún problema". La imagen de arriba está tomada de la publicación de blog de Barreto (vinculada a continuación), mostrando un total de 2 millones de filas dentro de Excel. (Aprenda a usar una tabla dinámica para el análisis de datos Cómo usar una tabla dinámica de Excel para el análisis de datos Cómo usar una tabla dinámica de Excel para el análisis de datos La tabla dinámica es una de las herramientas más poderosas del repertorio de Excel 2013. se usa con frecuencia para el análisis de datos de gran tamaño. Siga nuestra demostración paso a paso para obtener más información al respecto. Lea más).
Si esta es la solución que más le conviene, siga el tutorial detallado de José Barreto aquí mismo. Recuerde, esto no divide el CSV, pero sí puede manipular sus datos dentro de ciertas herramientas de Excel. Cómo visualizar su análisis de datos con las herramientas eléctricas de Excel Cómo visualizar su análisis de datos con las herramientas eléctricas de Excel Excel lo está matando con su avanzada funciones de gestión de datos. Una vez que haya utilizado una de las nuevas herramientas, las querrá todas. ¡Conviértase en un maestro de su análisis de datos con herramientas eléctricas! Lee mas . Si accede a sus datos para interactuar directamente con él, podría valer la pena intentarlo.
¡Descomponerlo!
Hemos enumerado cuatro soluciones para analizar sus archivos CSV masivos, incluidas dos herramientas diferentes.
De las cuatro soluciones, el archivo de proceso por lotes es probablemente el más lento. 5 Razones por las que debería utilizar PowerShell en lugar de proceso por lotes 5 Razones por las que debería utilizar PowerShell en lugar de proceso por lotes PowerShell es lo que obtendría si cruzara el símbolo del sistema con Batch Scripting en algunas características adicionales, y pateó todo varias muescas. Aquí hay varias razones por las que deberías intentarlo. Lee mas . La secuencia de comandos de PowerShell es rápida y fácil de personalizar, mientras que las dos aplicaciones son fáciles de usar de forma inmediata. Finalmente, tiene la opción de importar directamente sus datos a Excel, por los millones de filas.
¿Qué método eliges? ¿Y tienes otros consejos? Por favor, comparte con nosotros en los comentarios!
Crédito de la imagen: lucadp / Depositphotos