Una tabella PDF esportata da un database contiene 500 righe. L'apertura del file rivela ogni riga due volte o alcune voci che si ripetono in uno schema da una query di origine che ha restituito duplicati. Il PDF stesso non è danneggiato. I dati all'interno hanno contenuti duplicati e rimuovere tali duplicati significa modificare direttamente il PDF, cosa che la maggior parte degli strumenti non supporta per le operazioni a livello di linea, oppure estrarre, deduplicare esternamente e ricreare una versione pulita.
I PDF non sono fogli di calcolo. Non è possibile fare clic su un pulsante per rimuovere le righe duplicate. Ma puoi estrarre i dati, pulirli e reinserirli.
La rimozione di righe duplicate da un documento Editor PDF richiede la conversione del contenuto PDF in un formato modificabile, la deduplicazione e, facoltativamente, la ricreazione del PDF. Fix PDF e gli strumenti di conversione di WukongPDF gestiscono l'estrazione e il flusso di lavoro riportato di seguito copre l'intera pipeline di deduplica.
Estrazione del contenuto in un formato modificabile
Estrarre il testo dal PDF e inserirlo in un formato compatibile con la deduplicazione è il primo passo fondamentale. Esporta in Excel se il contenuto è tabellare con colonne coerenti. Esporta in Word se il contenuto contiene testo con paragrafi. Esporta in testo semplice se la struttura è semplice. La scelta del formato di esportazione segue la struttura del contenuto.
I dati tabulari appartengono a Excel per i suoi strumenti di deduplicazione integrati. Seleziona l'intervallo di dati, vai alla scheda Dati e fai clic su Rimuovi duplicati. Scegli le colonne che definiscono cosa conta come duplicato, in genere tutte le colonne per la corrispondenza esatta delle righe. Excel rimuove tutti i duplicati tranne la prima occorrenza, elaborando migliaia di righe in pochi secondi.
Prova Modifica PDF
Nessuna installazione necessaria. Funziona direttamente nel tuo browser.
Deduplicazione in Excel dopo la conversione da PDF a Excel
La funzione Rimuovi duplicati di Excel funziona sulle corrispondenze esatte tra le colonne selezionate. Le righe quasi duplicate, stessi dati ma formattazione o spazi bianchi diversi, devono prima essere pulite. Taglia gli spazi extra con TRIM. Standardizzare il caso con SUPERIORE o INFERIORE. Rimuovere i caratteri non stampabili con CLEAN. Dati più puliti prima della deduplicazione significano che vengono trovati più duplicati.
Evidenzia i duplicati prima di rimuoverli se è necessaria una revisione. Formattazione condizionale, Regole evidenziazione celle, Valori duplicati, mostra quali righe sono duplicate senza eliminare nulla. Esamina le righe evidenziate, conferma che sono veri duplicati, quindi rimuovi. Questa recensione rileva casi in cui due righe sembrano simili ma sono transazioni realmente diverse che condividono lo stesso importo in dollari.
Deduplicazione in Word per PDF basati su testo
L'esecuzione di testo con paragrafi duplicati richiede la funzione Trova e sostituisci di Word combinata con modelli di caratteri jolly. Un paragrafo che appare due volte consecutivamente può essere trovato e ridotto a un'unica istanza. Questo gestisce i duplicati esatti ma non i quasi duplicati che differiscono di una parola o due.
La revisione manuale è più affidabile dell'automazione per il testo narrativo. Cerca i paragrafi ripetuti. Un paragrafo che appare sia nell'introduzione che nella conclusione può essere una ripetizione intenzionale per effetto retorico, non un errore di duplicazione. Gli strumenti automatizzati non sono in grado di distinguere la ripetizione intenzionale da quella accidentale. Per la deduplicazione del testo è necessario il giudizio umano, laddove il contesto determina se la ripetizione è corretta.
| Tipo di contenuto | Esporta in | Metodo di dedup | Attenzione |
|---|---|---|---|
| Dati tabulari con colonne | Eccellere | Dati > Rimuovi duplicati | Controlla che tutte le colonne selezionate per la corrispondenza siano corrette |
| Elenco semplice, un elemento per riga | Testo semplice o Excel | Ordina e rimuovi i duplicati o deduplica Excel | L'ordinamento potrebbe perdere l'ordine originale; aggiungi prima la colonna dell'indice |
| Testo scorrevole, paragrafi | Parola | Revisione manuale o Trova duplicati con caratteri jolly | La ripetizione intenzionale può essere rimossa accidentalmente |
| Contenuti misti | Excel per tabelle, Word per testo | Dividi per tipo di contenuto, deduplica ciascuno separatamente | L'ordine di riassemblaggio deve essere preservato |
Ricreare il PDF pulito dopo la deduplicazione
Dopo aver rimosso i duplicati in Excel o Word, salva il file pulito come nuovo PDF tramite Salva come PDF o un convertitore online. Il PDF risultante contiene dati puliti senza duplicati. Confronta il numero di pagine del PDF originale e quelle pulite. Se l'originale avesse 500 righe e 50 fossero duplicate, il PDF pulito dovrebbe avere circa il 10% di pagine in meno. La riduzione del numero di pagine conferma che la deduplicazione ha funzionato.
Conserva il PDF originale come backup non modificato finché non viene verificata la versione pulita. Una deduplicazione troppo aggressiva che ha rimosso righe univoche insieme ai duplicati non può essere annullata se l'originale viene eliminato. Conserva l'originale finché la verifica non conferma che la versione pulita è corretta e completa.
Utilizzo della deduplicazione basata su script per lavori di grandi dimensioni o ripetuti
La libreria Pandas di Python gestisce la deduplicazione di set di dati di grandi dimensioni con maggiore flessibilità rispetto allo strumento integrato di Excel. Uno script che legge i dati esportati, applica la logica di deduplicazione con criteri di corrispondenza configurabili e restituisce il file pulito viene eseguito in pochi secondi, indipendentemente dal conteggio delle righe. Lo script gestisce i casi limite, cosa conta come duplicato, quale occorrenza conservare, se registrare le righe rimosse, con codice che documenta l'esatta logica applicata.
Per i processi di deduplicazione ricorrenti, lo script è una risorsa permanente. Lo stesso report PDF generato settimanalmente con lo stesso modello di duplicazione viene pulito ogni settimana dallo stesso script. L'investimento iniziale di 30 minuti nello scripting consente di risparmiare ore di deup manuale durante tutto l'anno. Controlla la versione dello script in modo che i futuri manutentori possano vedere la logica di deduplicazione e modificarla quando cambia il formato dei dati di origine.
Prevenzione dei contenuti duplicati all'origine
Il contenuto duplicato nei PDF solitamente ha origine a monte nella query del database, nel generatore di report o nel processo di unione che ha creato il PDF. Correggi la query di origine per utilizzare SELECT DISTINCT o correggere le condizioni JOIN. Correggi il processo di unione per verificare la presenza di intervalli di pagine sovrapposte. Ogni duplicato rimosso all'origine impedisce una sessione di deduplicazione PDF downstream.
Il flusso di lavoro di deduplicazione PDF tratta i sintomi. La cura risiede in qualunque sistema abbia prodotto il contenuto duplicato. Documenta la provenienza dei duplicati e correggi il processo. Una prima operazione di salvataggio è comprensibile. Una seconda occorrenza dalla stessa fonte con gli stessi duplicati segnala un errore del processo che necessita di una correzione permanente.
Prova Modifica PDF
Nessuna installazione necessaria. Funziona direttamente nel tuo browser.