Slow data updates premium

Comments

22 comments

  • Official comment
    Avatar
    Archie Roboostoff Community Moderator
    Early Adopter

    Hello, 

    We are aware of the current system processing delays we are having. The issue usually occurs during the peak times (Pacific time between 8-10am / Central European time between 17:00-19:00) and results in delays up to 4-5 hours in processing. We have been working on a fix for the past 4 months and have implemented a high speed data processing infrastructure for this.  We are currently sending data to both the old system and the new system. We have a few more weeks of testing and validation before we can go live with it. Our current plan has this issue being resolved by the end of November. We apologize for these impacted systems and any problems it may have caused. This issue surfaced because we have more than doubled the systems in our monitoring infrastructure in a short period of time causing some of our processing mechanisms to slow down when we are at peak. 

    That said, while data may be slow currently, all production data is preserved and no data is lost. 

    Regarding the difference between premium and standard data. The processing delay has nothing to do with premium or not. Everyone is processed the same. Premium shows data at 1 min intervals vs 15 min intervals. Once the data is in the system and on the site, someone without premium would only see 15 min increments and would only see that data for a year back. Someone with premium would see 1 min increments and unlimited storage history. 

    If you are impacted by this issue please reach out to me here and I will make contact to see what we can do to make it up to you.

     

    Thanks 

    Archie

    VP Software, Tigo

  • Avatar
    Josine Pentin Community Moderator
    Early Adopter

    Hello Robert.

    Yes, with the Premium Plan, the Tigo CCA collects data at a 1-minute granularity for the full history of the system. However, the updates are not real-time. The process of collecting data from the CCA and sending it to the Tigo Cloud (update rate) requires a time of up to 10-20 minutes per cycle. This batching process allows Tigo to send an ample sum of data to the cloud without sacrificing overall bandwidth for other network communications.

    3
  • Avatar
    Robert Beedham

    Thanks you Josine. That's great and thanks for the reply.

    It's a great system I was just checking it is working as it should

    Thanks again for the advice.

    1
  • Avatar
    Adolf Schnecker

    Hallo Robert, 

    TIGO stellt in der Premium-Version Daten mit einer Granularität von 1 Minute für den User zur Verfügung. Aufgrund eigener Erfahrung und Information vom Support werden Daten jedoch im Abstand von 5 Sekunden gesammelt! Das ist natürlich für die TIGO-Techniker gut, um eine präzise Fehleranalyse erstellen zu können.

    Den User aber davon nicht zu informieren, das ist für mich aber nicht o.k.

    ---------
    Translation
    ---------
    Hello Robert,

    In the premium version, TIGO provides the user with data with a granularity of 1 minute. Based on our own experience and information from support, however, data is collected at intervals of 5 seconds! This is of course good for the TIGO technicians to be able to create a precise error analysis.

    But not informing the user about this is not o.k. for me.

    0
  • Avatar
    Thorsten Von Eicken

    > The process of collecting data from the CCA and sending it to the Tigo Cloud (update rate) requires a time of up to 10-20 minutes per cycle. This batching process allows Tigo to send an ample sum of data to the cloud without sacrificing overall bandwidth for other network communications.

    Can you please clarify? Simple tracing of network communication shows that the CCA sends a UDP packet to the cloud every 5 seconds! The CCA also performs pretty voluminous HTTPS requests to the cloud every 5 minutes.

    0
  • Avatar
    Archie Roboostoff Community Moderator
    Early Adopter

    The CCA uploads to the datacenter every 10 minutes. The packets back and forth are network management, VPN, and other various keep-alive communications. 

    In the near future the CCA will upload to the data center in a more real time fashion. We will update the community when this is ready for production.

     

    Thanks for your support. 

    2
  • Avatar
    Adolf Schnecker

    Hallo. Hoffentlich erfolgt der Zugriff dann direkt auf den CCA. Nur das würde ich dann als Echtzeit verstehen.

    0
  • Avatar
    Mika Aarnio

    New Tigo user here from Finland .  I think CCA uploads data for every 30-50 minutes to tigo cloud..  Why so big delay ?  Data gathered 12.04 , and real time was 12.45  

    0
  • Avatar
    Curtis Community Moderator
    Early Adopter

    Hello Mika Aarnio

    Thank you for your contribution to the Tigo Community. 

    The CCA provides data in 10 minute batch cycles, and then the imported data is prepared for viewers (taking an additional 10 mins or more). For this reason, data is expected within 20-30 minutes from real-time. In addition, batching times may be subject to unforeseen delays within certain areas or countries. My apologies if this causes any inconvenience.

    Read more at: How fast does data update in the EI portal and does Premium speed up this process?

    In the meantime, you are encouraged to reach out to Tigo Support if you notice extreme delays. Our highly trained Engineers will review the batch times and let you know if there are any improvements that can be made. 

    1
  • Avatar
    Adolf Schnecker

    Hallo,

    10 Minuten zur Aufarbeitung ist schon sehr, sehr lange!

    Sie sollten Ihre Software optimieren oder die Serverkapazitäten entsprechend anpassen.

    Im Übrigen, wann werden Echtzeitdaten zur Verfügung stehen?

    Bitte um eine Antwort. 

    0
  • Avatar
    Matthias Oliver
    Early Adopter

    Adolf Schnecker - from Tigo in an earlier response:

    "The CCA uploads to the datacenter every 10 minutes. The packets back and forth are network management, VPN, and other various keep-alive communications. 

    In the near future the CCA will upload to the data center in a more real time fashion. We will update the community when this is ready for production."

    0
  • Avatar
    Adolf Schnecker

    Diese Aussage habe ich bereits vor 5 Monaten 1:1 erhalten. Und sie werden nicht besser, wenn man sie mit C&P wieder bringt.

    Es sollte vorrangig das Konzept überarbeitet werden! Und vor allem sollte das Performance-Problem angegangen werden.

    Wenn ich die App öffne, dann dauert es viel zu lange, bis Daten angezeigt werden.

    Aber all das muss man im Zusammenhang sehen!

    Wann werden die Echtzeitdaten zur Verfügung stehen?

    0
  • Avatar
    Mika Aarnio

    Thanks for info.   Now it takes even more than 1.5 hours  to update tigo cloud.  I think some kind of data capacity issue somewhere?  My Sungrow inverter updates data in 5 seconds. They have Europe server.    Well, I am not in hurry, maybe someday it works faster.  

    0
  • Avatar
    Adolf Schnecker

    Mika Aarnio

    Ja, auch ich brauch den Zugriff auch nicht so dringend. Aber es ist schon etwas zäh wenn man elendig lang darauf wartet dass Daten angezeigt werden.

    Echtzeitdaten bzgl. PV-Leistung bekomme ich ohnedies vom Wechselrichter, und das wirklich in Echtzeit!

    Eine Echtzeitlösung kann nur dann gut funktionieren, wenn lokal zugegriffen werden kann, also die Lösung am CCA verwirklicht wird. Keine große Sache. Die Möglichkeit eines Zugriffes direkt auf die CCA war ja gegeben. Schade dass man nicht diesen Schritt weitergeht und dem User ein Interface zur Verfügung stellt - nur READ ONLY, ohne Möglichkeit etwas zu Verändern.

    Früher oder später wird auch dieser Zugriff wieder geknackt sein.

     

    0
  • Avatar
    Adolf Schnecker

    Soeben "Erweiterte Diagramme für 5 Module (Iin) aufgerufen. Die Grafik wird ja vom Server aufbereitet und dauert ca. 24 Sekunden (vierundzwanzig !!!!) bis sie angezeigt wird

    Der Aufruf erfolgte um 13.53 - die aktuellsten Daten sind von 13:08 !!!!!!! Vor 45 Minuten wurden die letzten Daten aktualisiert!

    Ich mach ein Ticket auf - vl. kümmert sich dann jemand darum.

    0
  • Avatar
    David Antonín

    I have the same problem.

    0
  • Avatar
    Adolf Schnecker

    Die Server scheinen ziemlich überlastet zu sein. Bei mir schwankt es zwischen 15 und 60 Minuten!

    Es sind ja doch keine große Mengen an Daten die übertragen werden. Bei meinen 32 Modulen und alle 5 Sekunden werden Daten gesammelt sind das 384 Datensätze pro Minute. Die Übertragung erfolgt normalerweise alle 10 Minuten, dann sind es 3840 Datensätze mal geschätzt 0,1 kB pro Datensatz = 384 kB. Auch wenn es 1 - 2 MB sein sollten, dann müsste das Einpflegen in die Datenbank doch weit, weit schneller funktionieren.

     

    0
  • Avatar
    Adolf Schnecker

    Archie Roboostoff

    Danke für diese professionelle und vor allem ehrliche Antwort.

    Ja, die Verzögerungen sind ärgerlich. 4-5 Stunden Verzögerung bei der Verarbeitung - ja, da wurde wohl der massive Anstieg an neuen Systemen nicht

    vorhergesehen oder zu spät erkannt.

    Da EI ohnedies keine Echtzeitdaten anzeigt wird es von mit nur benutzt um eine Übersicht zu erhalten ob alles noch funktioniert.

    Für Echtzeitdaten greife ich lieber auf die Visualisierung des Wechselrichters oder auf ein Dritt-System zu.

    1
  • Avatar
    Graham Bellinger

    Hi 

    I am based in the UK and see refresh in excess of 45 minutes. I do not understand why this is the case other than Tigo's lack of investment in the infrastructure. For example, inverters can supply refresh rates of 10 seconds via a cloud based systems, why cant Tigo. I don't think your ambitions are strong enough to meet customer expectations in the year 2023. 

    Why don't you allow local network access to the data? Closed door systems is rather draconian these days!!

    Regards 

    Graham 

    1
  • Avatar
    Mika Aarnio

    Today I got  1.34 kWh solar powers..   But when I click Energy, it shows only 50 W.  

    0
  • Avatar
    Curtis Community Moderator
    Early Adopter

    Hello Graham Bellinger

    Thank you for your reply and your concern. 

    Please scroll up to the top of this post, and you will see the Official Comment from Archie Roboostoff. He mentions Tigo's investment in infrastructure and our efforts to correct this within a certain period of time. You are also invited to contact the Support Team to inquire more about Tigo's progress with this issue. 

    In the meantime, we greatly appreciate your patience with this process. 

    0
  • Avatar
    Curtis Community Moderator
    Early Adopter

    Hello Mika Aarnio

    Thank you for your reply and great question!

    It does look as if you have produced very little Energy. Each system design is unique and getting a better idea of what is happening, may require a review of your system for an individualized diagnosis. For this reason, I have opened a ticket with our Support Team. One of our support engineers will be in contact with you soon.

    Once the issue has been correctly diagnosed and resolved, please feel free to share your positive experience in this community post.

    We greatly appreciate your patience with this process. 

    0

Please sign in to leave a comment.