Você precisa conhecer o ArrayDML do FireDAC!

Pandaaa says:

Parabéns mestre Celestino, realmente quando migrei as replicaçoes para arraydml a carga caiu absurdamente, caso de carga de 5 a 10 minutos cair para 10 segundos.
Show, forte abraço

Luis Olivetti says:

Parabéns, André!
Bem interessante esse recurso.

Abraços.

Everton Borges says:

Muito interessante esse recurso.
Porém me surgiu uma duvida. Se nessas 10 mil inserções algumas delas falharem, irá comprometer todas as outras ?

Jefferson Damian says:

Excelente dica.
Eu não conhecia o recurso e fez uma diferença enorme na importação de dados.
Obrigado, que Deus abençoe e que sempre possa compartilhar essas dicas que nos ajudam muito.

Alessandro Gomes says:

Excelente conteúdo e de fácil entendimento André, está de parabéns! Continue assim 🙂

Somente um detalhe caso alguém passe o que passei e sofri um pouquinho até descobrir, rsrs.

Eu estava usando o mesmo modelo que você fez passando todos os params como “AsStrings” independente se o field era integer, date ou outros e assim funcionava perfeito, mas somente quando tinha mais de 2 registros pra inserir. Porém quando tinha apenas 1 registro pra inserir, ele me dava o erro de “Arithmetic exception, numeric overflow, or string truncation”, como fosse algum estouro ou passagem errado de tipos de valores, suponho eu. Mas isso só acontecia quando somente estava inserindo somente 1 registro.

Foi quando depois de muito sofrer, mudei pro mesmo tipo do campo, exemplo : “AsLargeInts”, “AsIntegers” e assim por diante.

Estou só repassando, caso alguém tenha esse mesmo problema, e tentar ajudar o próximo rsrs.

De qualquer forma, novamente meus parabéns André, abração! 🙂

Leandro R Sindorf says:

Ótimo material, me ajudou muito no procedimento que preciso. Porém, parei em uma “encruzilhada”.
Arquivo texto: 1.316.604 linhas. Tamanho de cada linha: 171 posições.
Consigo gravar com ArrayDML 25.000 linhas em 1min e 24 seg (sensacional!!).
Fiz um teste que não deu certo. Montei o array com o arquivo texto todo, ou seja, 1.316.604 posições e na hora do execute, eu fiz Execute(25000,0) depois Execute (25000,25001), mas deu “out of memory”… qual seria a melhor forma de gravar os mais de 1 milhão de registros? Agradeço desde já.

Problemas com sql server – “out of memory”. Arquivo TXT com 1 milhão de registros.
Percebi com tentativa e erro que consigo gravar com ArraySize = 25.000, pois bem. Como eu conseguiria trabalhar as linhas restantes? Preciso criar várias listas de 25000 registros por vez? Fiz vários testes, mas todos deram “out of memory”. A única coisa que ainda não testei pq acho que deve ter uma solução melhor, é dividir 1 milhão por 25 mil, e ir adicionando um de cada vez, 25k por 25k… É isso mesmo?

Albani Feijão says:

André, obrigado pelo conteúdo. Me ajudou.
Estou fazendo a migração dos dados de um banco oracle para um banco SQL.
Estava tudo dando certo até chegar em uma tabela com 60 parâmetros.
Não sei se é por esta quantidade de parâmetros que dá Out of memory, mas, não consegui ver outro fator.
Comecei montando o bloco DML de 5000 registros, cheguei em 100 e, mesmo assim, não funciona.
Já tentei pbByNumber e pbByName.
Já tentei definir o DataType e Size de cada parâmetro.
Nada resolveu.
Você pode me dar mais alguma dica?

judeir says:

Boa tarde André consegui, porém preciso incluir vários registros com ID autoincrement, tentei fazer no entanto não consegui tem uma dica

Sérgio says:

André boa tarde, primeiramente parabéns pelo conteúdo. Estou tentando fazer a conversão dos dados de um Banco Sybase Anywhere 5.5.04 para o Firebird 2.5 e quero usar ArraySize. Mas estou encontrando problemas com os acentos no banco de origem dos dados (sybase estou usando no bde no langdriver Sybase SQL Dic850.
Pode me dar uma dica de como posso tratar os caracteres especiais?
Obrigado

Jhonlemon Barbosa Ribeiro says:

Boa noite, obrigado pelo retorno…na minha duvida anterior: será que vc pode me ajudar? eu estava querendo dividir o insert do ArrayDML em lote tipo assim de 5mil a 5mil registros, isso é porque esse insert em mobile, então vejo que as vezes o aparelho trava no insert do ArrayDML. Meu código abaixo.

[código removido para manter privacidade]

Marcelo Augusto Rodrigues says:

Recurso muito bom, passei por essa necessidade recentemente.

Eu estava utilizando o CopyDataSet (“coStructure”, “coRestart”, “coAppend”), apenas no PC do cliente demorava em torno de 10 minutos para inserir 30k de registros, após realizar a refatoração com o arraydml inserindo em lote de 1k por vez, caiu para 2 segundos.
Acredito que o PC do cliente influencia, memória e processador.

Único detalhe a acrescentar sobre a inserção em lotes, de acordo com a documentação “So, the command will be executed (ATimes – AOffset) times, starting from AOffset row”, eu tive somar o offset no primeiro parâmetro..

// insere os próximos 5 mil registros (a partir do registro 5000)
LQuery.Execute(5000 + 5000, 5000);

Parabéns pelo conteúdo, bem objetivo, me ajudou bastante.

Eduardo Gomes says:

Bom dia!
Obrigado por responder. Mexendo aqui eu descobri que o problema era realmente a forma com que os arquivos são separados, o seu é por virgula e o meu por ponto e virgula. Foi necessário dois ajustes no código pra dar certo:
de:

para:

e acrescentei essa linha:

Assim funcionou perfeitamente. O processo tradicional levava 5:40 (quase 6 minutos), com o ArrayDML caiu para maravilhosos 4 segundos, só alegria.
Muito obrigado por compartilhar essa pérola.

Só tenho uma dúvida, que já foi respondida, mas não ficou claro pra mim, até arrisquei tentar resolver mas não ficou 100%. Quando dé erro durante o processo, uma chave duplicada por exemplo, não consegui fazer com que ele grave a primeira, ou seja, se a chave 2301 existe duas vezes no arquivo, ele não grava nenhuma das duas, os demais registros são salvos normalmente.
Na query que executa o processo eu coloquei esse código:

Pode me dar uma dica nisso?